Google перенесла обучение федеративных моделей в доверенные среды
Google Research представила систему федеративного обучения на базе Trusted Execution Environments (TEE). Исследовательская команда заявляет, что система впервые делает центральную дифференциальную приватность в федеративном обучении проверяемой внешними аудиторами. Прежние решения с Secure Aggregation защищали загружаемые данные, но не поддерживали некоторые современные методы, включая matrix factorization DP-FTRL. Кроме того, приходилось доверять оператору в правильности добавления шума.
В новой архитектуре устройства шифруют примеры для обучения и заранее задают политику доступа, где указано, какие вычисления в TEE могут работать с данными. Политики публикуются в публичном журнале Rekor компании Sigstore. Система управления ключами на базе TEE выдает ключи только тем рабочим нагрузкам, которые соответствуют политике. Основной TEE координирует Python-программу обучения и рабочие TEE, а наружу передаются только дифференциально приватные веса модели.
Google применила систему для английской и японской моделей предсказания следующего слова в Gboard. По данным компании, это повысило точность и усилило гарантии приватности, а вычисления стали значительно быстрее, хотя единого показателя ускорения не опубликовано. Ранее обучение одной модели занимало от одного до двух месяцев; теперь задачи распределяются между машинами в пределах доступных ресурсов TEE.
Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.