Sakhanda Wire
NVDA $155.46 -0.44% MSFT $506.24 -2.27% GOOGL $280.20 -1.24% META $618.87 -1.20% AMZN $257.89 +0.05%
← К новостям

Google перенесла обучение федеративных моделей в доверенные среды

Google Research представила систему федеративного обучения на базе Trusted Execution Environments (TEE). Исследовательская команда заявляет, что система впервые делает центральную дифференциальную приватность в федеративном обучении проверяемой внешними аудиторами. Прежние решения с Secure Aggregation защищали загружаемые данные, но не поддерживали некоторые современные методы, включая matrix factorization DP-FTRL. Кроме того, приходилось доверять оператору в правильности добавления шума.

В новой архитектуре устройства шифруют примеры для обучения и заранее задают политику доступа, где указано, какие вычисления в TEE могут работать с данными. Политики публикуются в публичном журнале Rekor компании Sigstore. Система управления ключами на базе TEE выдает ключи только тем рабочим нагрузкам, которые соответствуют политике. Основной TEE координирует Python-программу обучения и рабочие TEE, а наружу передаются только дифференциально приватные веса модели.

Google применила систему для английской и японской моделей предсказания следующего слова в Gboard. По данным компании, это повысило точность и усилило гарантии приватности, а вычисления стали значительно быстрее, хотя единого показателя ускорения не опубликовано. Ранее обучение одной модели занимало от одного до двух месяцев; теперь задачи распределяются между машинами в пределах доступных ресурсов TEE.

Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием MarkTechPost

Читать оригинал на MarkTechPost ↗

Репортаж и изображение принадлежат MarkTechPost и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости