Новий інститут шукатиме математичні докази безпеки ШІ
Канадський математик Джейкоб Цимерман, нещодавній лауреат медалі Філдса, оголосив про створення Mathematical A.I. Safety Institute, або MAISI. Незалежний дослідницький інститут працюватиме в районі затоки Сан-Франциско й планує розпочати діяльність у січні 2027 року. До команди мають увійти від десяти до тридцяти математиків. Цимерман також приєднується до команди OpenAI з питань безпеки.
За словами Циммермана, для безпеки ШІ потрібен набагато вищий стандарт, ніж той, що діє нині. У криптографії можна довести стійкість схеми до всіх можливих атак, не перевіряючи кожну з них. MAISI зазначає, що для ШІ подібного способу поки немає: безпеку оцінюють на практиці, а чіткого теоретичного визначення поняття «безпечний» досі не існує.
Інститут прагне розробити методи, які дадуть змогу доводити відповідальну поведінку систем і правильність їхніх результатів. Серед завдань також названо вивчення того, чи може спільна робота кількох ШІ-агентів спричинити небажані наслідки, а також чи здатні системи протистояти ще не виявленим уразливостям. Одним із можливих інструментів є докази з нульовим розголошенням: вони можуть підтвердити, що система не обманює, без розкриття комерційних таємниць лабораторій ШІ.
Текст підготовлено ШІ Sakhanda Wire за матеріалом The Decoder. Факти, цитати та повний контекст — в оригінальній статті нижче.