Google Research переносить федеративне навчання в TEE: Gboard тепер навчається з диференційною приватністю, яку можна перевірити зовні

Google Research оголосила про систему нового покоління для федеративного навчання (FL), створену на основі довірених середовищ виконання (TEE). Дослідницька команда стверджує, що вперше забезпечила зовнішньо перевірювані гарантії центральної диференційної приватності (DP) для FL.

Яку проблему розв’язує федеративне навчання на основі TEE?

Google представила федеративне навчання (FL) у 2017 році. Воно забезпечує прогнозування наступного слова та Smart Compose у Gboard, пропозиції відповідей у Google Messages і Smart Text Selection в Android.

Раніші системи мали прогалину в довірі. Пристрої завантажували дані для негайного агрегування, але сторонні спостерігачі не могли перевірити, що дані ніколи не записувалися та не переглядалися. Безпечне агрегування додало криптографічний захист. Однак воно було несумісним із найсучаснішими алгоритмами центральної DP, як-от матрична факторизація DP-FTRL. Google також доводилося довіряти в тому, що шум DP додається правильно.

У новій конструкції обчислення градієнтів на клієнтах перенесено на сервер. Потім серверну логіку роблять такою, що підлягає атестації, тож оператору більше не потрібно довіряти.

Як працює система?

Система ґрунтується на попередній роботі Google над конфіденційною федеративною аналітикою. Вона координує 4 основні компоненти:

• Завантаження даних: Пристрої локально шифрують навчальні приклади та заздалегідь авторизують політику доступу. У політиці зазначено, які обчислення TEE можуть обробляти дані. Політики мають з’являтися в публічному журналі прозорості.
• KMS і перевірка політики: Система керування ключами, побудована на TEE, що працюють за протоколом консенсусу RAFT, надає ключі лише робочим навантаженням, що відповідають політиці.
• Виконання робочого навантаження: Кореневий TEE запускає цикл навчання Python і делегує підзавдання робочим TEE. Оркестрація використовує Federated Language, похідну від TensorFlow Federated. Вивільняються лише ваги моделей DP.
• Відмовостійке відновлення: Кожен раунд зберігає зашифрований KMS стан відновлення для обробки відмов кореневого або робочого TEE.

Чому гарантію приватності можна перевірити?

Політики доступу публікуються в Rekor — публічному журналі прозорості Sigstore. Зовнішні аудитори можуть відстежувати кожне серверне робоче навантаження, якому пристрій міг би передати дані. KMS і двійкові файли обробки даних можна відтворювано зібрати з відкритого програмного коду.

Політики безпосередньо описують навчальну програму Python. Щоб захистити запатентовані архітектури моделей, TEE підтримують завантаження серіалізованої логіки під час виконання. Уся логіка, що стосується приватності, має залишатися жорстко закодованою в атестованій програмі. Оператори робочих навантажень бачать лише метрики та ваги моделей DP. Зашифровані дані можна розшифрувати лише протягом обмеженого часу після завантаження.

Що отримала Gboard?

Gboard використала систему для запуску моделей прогнозування наступного слова англійською та японською мовами з посиленими гарантіями приватності та покращеною точністю. Це забезпечують два конструктивні рішення:

• По-перше, усі завантаження збираються до початку навчання на сервері. Добові коливання доступності пристроїв більше не сповільнюють навчання. Програма може обчислювати оптимальний графік участі та налаштовувати параметри DP. Криві компромісу між приватністю та корисністю Google отримала під час навчання англомовної моделі протягом 5000 раундів із когортою з 6500 пристроїв в обох системах.
• По-друге, вузьке місце перемістилося на сервер. Попередні моделі FL потребували від 1 до 2 місяців навчання кожна. Тепер навчання розпаралелюється між машинами й обмежується лише доступністю ресурсів TEE. Google повідомляє про суттєво швидше виконання обчислень, але не публікує єдиного показника прискорення.

Інтерактивне пояснення: усередині конвеєра FL на основі TEE