Google перенесла навчання федеративних моделей у довірені середовища
Google Research представила систему федеративного навчання на основі Trusted Execution Environments (TEE). Дослідницька команда стверджує, що система вперше робить центральну диференційну приватність у федеративному навчанні перевірною для зовнішніх аудиторів. Попередні рішення із Secure Aggregation захищали завантажені дані, але не підтримували деякі сучасні методи, зокрема matrix factorization DP-FTRL. Також від оператора вимагалося довіряти правильності додавання шуму.
У новій архітектурі пристрої шифрують приклади для навчання та заздалегідь визначають політику доступу, яка описує, які обчислення в TEE можуть обробляти дані. Політики публікуються у відкритому журналі Rekor від Sigstore. Система керування ключами на базі TEE видає ключі лише навантаженням, що відповідають політиці. Основний TEE координує Python-програму навчання і робочі TEE, а назовні передаються тільки диференційно приватні ваги моделі.
Google використала систему для англійської та японської моделей передбачення наступного слова в Gboard. За даними компанії, це забезпечило сильніші гарантії приватності, кращу точність і значно швидші обчислення, хоча єдиного показника прискорення не оприлюднено. Раніше навчання моделей тривало від одного до двох місяців; тепер робота розподіляється між машинами залежно від доступних ресурсів TEE.
Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.