Новый институт займётся математическим доказательством безопасности ИИ
Канадский математик Джейкоб Цимерман, недавно получивший медаль Филдса, объявил о создании Mathematical A.I. Safety Institute, или MAISI. Независимый исследовательский институт будет работать в районе залива Сан-Франциско и планирует начать деятельность в январе 2027 года. В его состав должны войти от десяти до тридцати математиков. Цимерман также присоединяется к команде OpenAI, занимающейся безопасностью.
По словам Циммермана, для безопасности ИИ нужен существенно более высокий стандарт, чем тот, который применяется сейчас. В криптографии можно доказать устойчивость схемы ко всем возможным атакам, не проверяя каждую из них по отдельности. MAISI отмечает, что у ИИ пока нет сопоставимого способа: безопасность выявляется в практическом использовании, а чёткого теоретического определения слова «безопасный» ещё не существует.
Институт намерен искать методы, которые позволят доказать ответственное поведение систем и правильность их результатов. Среди направлений также названы возможные нежелательные последствия совместной работы нескольких ИИ-агентов и устойчивость систем к ещё не обнаруженным уязвимостям. Одним из инструментов могут стать доказательства с нулевым разглашением: они позволяют системе подтвердить отсутствие обмана, не раскрывая коммерческие секреты лабораторий ИИ.
Текст подготовлен ИИ Sakhanda Wire по материалу The Decoder. Факты, цитаты и полный контекст — в оригинальной статье ниже.