Сатья Наделла из Microsoft: моделям ИИ нужна «аварийная кнопка»

Генеральный директор Microsoft Сатья Наделла стал последним руководителем технологической компании, предложившим подробные соображения о том, как можно повысить безопасность ИИ.

В публикации в X утром в субботу Наделла написал, что пришло время «сделать шаг назад и оценить архитектуру доверия» ИИ.

«Мы не можем воспринимать Сверхинтеллект как набор вложенных друг в друга чёрных ящиков и просто принимать или отклонять его рекомендации, ответы и действия», — написал Наделла, использовав предпочтительный термин администрации Трампа для обозначения ИИ. 

Как изложил Наделла, такой подход «означает отделение модели от оболочки, координирующей её работу», а также «вынесение средств контроля и механизмов защиты за пределы модели». Он также призвал документировать «каждое значимое действие модели» с помощью «защищённых от подделки свидетельств, читаемых человеком», а также создавать системы, в которых «уполномоченный человек» всегда может «приостановить работу модели или отключить её в процессе выполнения задачи».

«Мы должны исходить из того, что модель скомпрометирована, и с самого начала ограничивать её», — сказал он. «Представьте это как аварийный тормоз».

Комментарии Наделлы прозвучали в то время, когда ведущие компании в сфере ИИ признают всё больше случаев, когда они, судя по всему, теряли контроль над своими моделями, а также после того, как генеральный директор Anthropic Дарио Амодеи опубликовал план более осторожного развития ИИ.