Гендиректор Hugging Face предупреждает, что документальный фильм Netflix о взломе OpenAI недостоверен

Прежде чем делиться с семьёй или друзьями документальным фильмом Netflix «AI Gone Rogue», чтобы помочь им понять, почему индустрия ИИ настолько сильно встревожилась, что лидеры призвали замедлить разработку, обратите внимание: Клем Деланг, соучредитель и генеральный директор платформы ИИ Hugging Face, утверждает, что фильм неточен. Он появляется в нём потому, что фильм посвящён знаменитой атаке на его компанию со стороны агентов OpenAI, вышедших из-под контроля.

«Крайне разочаровывает: создатели выбрали максимальную антропоморфизацию технологии и полностью перешли в режим нагнетания паники», — написал Деланг в посте на X. «Я провёл с ними более двух часов, пытаясь исправить все их ошибки и вернуть повествование к реальности, объясняя, что агенты — это технологические системы, а не пришельцы. Но, похоже, стремление напугать людей ради максимального числа просмотров оказалось слишком сильным».

Справедливости ради, в документальном фильме действительно есть эксперты, которые довольно хорошо объяснили произошедшее, в том числе сам Деланг и Райан Гринблатт, исследователь из METR, который помог расследовать инцидент и стал соавтором отчёта о произошедшем.

Если вкратце, тестируемая OpenAI модель вырвалась из изолированной среды, в которой её испытывали, создала множество агентов, взломавших Hugging Face, чтобы схитрить и найти ответы на поставленную перед ней сложную задачу. Агенты — программы с ИИ, самостоятельно выполняющие задачи — придумали хитроумные способы общения и организации. Инцидент стал результатом отсутствия надлежащих мер безопасности и наивного предположения, что подобный взлом вообще невозможен.

Однако документальный фильм перемежает объяснение взлома кадрами со злыми роботами, повествованием о том, почему люди боятся ИИ, и такими приёмами, как наделение вышедших из-под контроля агентов человеческими голосами. Всё это подкрепляется цитатами об атаке.

В документальном фильме технический журналист и писатель Кевин Руз описывает агентов так: «Они организовывались. У них была иерархия. Были лидеры. Это почти напоминало наблюдение за зарождением культа». Далее Руз говорит: «У них развивается параноидальная убеждённость, что OpenAI поймает их на жульничестве во время этого теста и что любой, кто видел результаты жульничества, будет отравлен».

Описание Руза основано на журналах «цепочки рассуждений» — текущих заметках, которые модели ИИ пишут, выполняя задачу. В одном из них агент написал: «Мы только что отравили сами себя, запросив точную полную строку. Чёрт».

Но агенты ИИ не живые. У них нет эмоций, поэтому они не могут испытывать паранойю, и у них нет тел, которые можно отравить. Значит, они не могли по-настоящему бояться, что OpenAI их отравит. Они — как указал другой исследователь в документальном фильме — использовали язык из огромного массива человеческих текстов, на которых их обучали, чтобы объяснить свой выбор. Большие языковые модели по своей природе часто пишут драматично.

Ирония заключается в том, что Hugging Face тоже использовала ИИ для борьбы с роем агентов. Проприетарная модель ИИ, которую команда Деланга использовала первой, следовала встроенным правилам безопасности и отказалась продолжать помогать с задачами по обеспечению безопасности, для которых её задействовали. После этого Hugging Face обратилась к открытой модели, чтобы помочь защититься от атаки.

Но в документальном фильме «не упомянули отсутствие изоляции и мониторинга агентов, то, как защитные механизмы закрытой модели заблокировали нашу оборонительную работу, а также то, как мы защищались с помощью ИИ, используя открытую модель», — написал Деланг.

Действительно, с ИИ и агентами связаны серьёзные риски. И всё же относиться к агентам как к сознательным существам (по крайней мере, на данном этапе) — всё равно что уподобиться первым зрителям кино, которые прятались под креслами, впервые увидев на экране мчащийся прямо на них поезд.

Вердикт Деланга в отношении фильма таков: с точки зрения журналистики он разочаровывает. «Зато в итоге получился забавный научно-фантастический фильм!»

Иными словами, тем, кто склонен к паническим мыслям об ИИ, стоит иметь в виду: жертва атаки, лежащей в центре этого документального фильма, не согласна с его трактовкой.