Нов институт търси математически доказателства за безопасността на ИИ
Канадският математик Джейкъб Цимерман, неотдавнашен носител на медала „Филдс“, обяви създаването на Mathematical A.I. Safety Institute, или MAISI. Независимият изследователски институт ще бъде базиран в района на залива на Сан Франциско и планира да започне работа през януари 2027 г. с екип от 10 до 30 математици. Цимерман също ще се присъедини към екипа по безопасност на OpenAI.
По думите на Цимерман безопасността на ИИ се нуждае от значително по-висок стандарт от наличния в момента. В криптографията може да се докаже, че дадена схема издържа на всички възможни атаки, без всяка от тях да бъде изпробвана. Според MAISI при ИИ няма подобен подход: безопасността се установява основно на практика, а дори липсва ясна теоретична дефиниция на понятието „безопасен“.
Институтът иска да разработи методи за доказване, че системите действат отговорно и дават верни резултати. Сред задачите му е и изследването дали множество взаимодействащи си ИИ агенти могат да предизвикат нежелани последици, както и дали системите могат да устоят на все още неоткрити уязвимости. Възможен инструмент са доказателствата с нулево разгласяване, позволяващи на система да покаже, че не мами, без да разкрива търговски тайни на лабораторията.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на The Decoder. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.