Математическият институт за безопасност на ИИ иска да докаже, че ИИ е безопасен, по начина, по който криптографите доказват, че кодовете са непробиваеми

Канадският математик Джейкъб Цимерман, наскоро удостоен с медал „Фийлдс“, обяви основаването на Математическия институт за безопасност на изкуствения интелект (MAISI). Независимият изследователски институт в района на залива на Сан Франциско планира да започне работа през януари 2027 г. с екип от десет до тридесет математици, които ще се занимават с проблеми, свързани с безопасността на ИИ, съобщава New York Times. Цимерман, който също така се присъединява към екипа по безопасност на OpenAI, казва, че в тази област е необходимо „много, много по-високо ниво на стандартите за безопасност от това, което постигаме в момента“.

При криптографска схема можете да докажете, че тя е непробиваема, без да изпробвате всяка възможна атака. При ИИ няма такъв пряк път. Безопасността се проявява единствено на практика, а според MAISI дори няма ясна дефиниция на това какво означава „безопасен“ — дори на теория.

Именно такъв тип доказателство иска да направи възможен MAISI. Целта е да се покаже, че една система действа отговорно и дава правилни резултати, че множество работещи съвместно агенти на ИИ не предизвикват нежелани последствия и че системите могат да устоят на уязвимости, които все още никой не е открил. Един от инструментите може да бъде доказателството с нулево разгласяване, което позволява на една система да демонстрира, че не мами, без да разкрива търговските тайни на лабораториите за ИИ.

Новини за ИИ без сензация – подбрани от хора

Абонирайте се за THE DECODER, за да четете без реклами, да получавате седмичен информационен бюлетин за ИИ, нашия ексклузивен годишен шесткратен доклад „AI Radar“ за водещите разработки, пълен достъп до архива и достъп до секцията за коментари.