Математический институт безопасности ИИ хочет доказать безопасность ИИ так же, как криптографы доказывают невзламываемость шифров

Канадский математик Джейкоб Цимерман, недавно получивший медаль Филдса, объявил о создании Института математической безопасности ИИ (MAISI). Независимый исследовательский институт в районе залива Сан-Франциско планирует начать работу в январе 2027 года. В нём от десяти до тридцати математиков будут заниматься проблемами безопасности ИИ, сообщает New York Times. Цимерман, который также присоединяется к команде OpenAI по безопасности, говорит, что этой сфере необходим «гораздо, гораздо более высокий стандарт безопасности, чем тот, который мы имеем сейчас».

Для схемы шифрования можно доказать невозможность её взлома, не проверяя каждую возможную атаку. У ИИ такого способа пока нет. Безопасность проявляется только на практике, и, по мнению MAISI, нет даже чёткого определения того, что означает «безопасный», — даже в теории.

Именно такое доказательство MAISI хочет сделать возможным. Цель — показать, что система действует ответственно и выдаёт корректные результаты, что несколько взаимодействующих ИИ-агентов не приводят к нежелательным последствиям, а также что системы способны противостоять уязвимостям, которые ещё никто не обнаружил. Одним из инструментов могут стать доказательства с нулевым разглашением, позволяющие системе продемонстрировать, что она не жульничает, не раскрывая коммерческие секреты лабораторий ИИ.

Новости ИИ без шумихи — отобраны людьми

Подпишитесь на THE DECODER, чтобы читать материалы без рекламы, получать еженедельную рассылку об ИИ, эксклюзивный передовой отчёт «AI Radar» шесть раз в год, полный доступ к архиву и доступ к разделу комментариев.