Математичний інститут безпеки ШІ хоче довести безпечність ШІ так само, як криптографи доводять невзламність шифрів

Канадський математик Джейкоб Цимерман, нещодавній лауреат Філдсівської премії, оголосив про заснування Математичного інституту безпеки ШІ (MAISI). Незалежний дослідницький інститут у районі затоки Сан-Франциско планує розпочати роботу в січні 2027 року. У ньому від десяти до тридцяти математиків працюватимуть над проблемами безпеки ШІ, повідомляє New York Times. Цимерман, який також приєднується до команди OpenAI з питань безпеки, каже, що цій галузі потрібен «набагато, набагато вищий рівень стандартів безпеки, ніж ми маємо зараз».

За допомогою схеми шифрування можна довести, що її неможливо зламати, не випробовуючи кожну можливу атаку. У ШІ такого способу немає. Безпека проявляється лише на практиці, і, за словами MAISI, немає навіть чіткого визначення того, що означає «безпечний», навіть у теорії.

Саме такі докази MAISI хоче зробити можливими. Мета полягає в тому, щоб показати, що система діє відповідально й видає правильні результати, що кілька агентів ШІ, які працюють разом, не спричиняють небажаних наслідків, а також що системи можуть протистояти вразливостям, яких ще ніхто не виявив. Одним із інструментів можуть стати докази з нульовим розголошенням, які дають системі змогу довести, що вона не шахрує, не розкриваючи комерційних таємниць лабораторій ШІ.

Новини про ШІ без хайпу — відібрані людьми

Підпишіться на THE DECODER, щоб читати без реклами, отримувати щотижневий інформаційний бюлетень про ШІ, наш ексклюзивний шість разів на рік звіт про передові розробки «AI Radar», повний доступ до архіву та доступ до розділу коментарів.