Sakhanda Wire
NVDA $153.63 -1.61% MSFT $506.84 -2.15% GOOGL $280.27 -1.22% META $619.77 -1.06% AMZN $256.65 -0.43%
← К новостям

Новый институт займётся математическим доказательством безопасности ИИ

Канадский математик Джейкоб Цимерман, недавно получивший медаль Филдса, объявил о создании Mathematical A.I. Safety Institute, или MAISI. Независимый исследовательский институт будет работать в районе залива Сан-Франциско и планирует начать деятельность в январе 2027 года. В его состав должны войти от десяти до тридцати математиков. Цимерман также присоединяется к команде OpenAI, занимающейся безопасностью.

По словам Циммермана, для безопасности ИИ нужен существенно более высокий стандарт, чем тот, который применяется сейчас. В криптографии можно доказать устойчивость схемы ко всем возможным атакам, не проверяя каждую из них по отдельности. MAISI отмечает, что у ИИ пока нет сопоставимого способа: безопасность выявляется в практическом использовании, а чёткого теоретического определения слова «безопасный» ещё не существует.

Институт намерен искать методы, которые позволят доказать ответственное поведение систем и правильность их результатов. Среди направлений также названы возможные нежелательные последствия совместной работы нескольких ИИ-агентов и устойчивость систем к ещё не обнаруженным уязвимостям. Одним из инструментов могут стать доказательства с нулевым разглашением: они позволяют системе подтвердить отсутствие обмана, не раскрывая коммерческие секреты лабораторий ИИ.

Текст подготовлен ИИ Sakhanda Wire по материалу The Decoder. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием The Decoder

Читать оригинал на The Decoder ↗

Репортаж и изображение принадлежат The Decoder и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости