Обеспокоенные исследователи Anthropic предупреждают: ИИ «может убить всех людей»

Уходящий исследователь говорит, что компании, занимающиеся ИИ, «играют нашими жизнями», спеша разработать самообучающийся ИИ.

Уходящий исследователь говорит, что компании, занимающиеся ИИ, «играют нашими жизнями», спеша разработать самообучающийся ИИ.

Старший исследователь по безопасности Anthropic заявил, что вероятность того, что искусственный интеллект «может убить всех людей» к концу десятилетия, превышает 10 процентов. Это произошло всего через несколько часов после того, как его коллега уволился из-за опасений, что лаборатория ИИ и ее конкуренты безрассудно спешат создать «сверхчеловеческие системы», которые не смогут контролировать.

В публикации на X, объявляя о своем уходе, Джейкоб Коксон, исследователь, обучавший системы ИИ в Anthropic, заявил, что покинул компанию из-за ее несерьезного подхода к безопасности. Коксон, ранее обучавший системы для OpenAI, обвинил обе компании, занимающиеся ИИ, в том, что они «мчатся прямо к самообучающемуся сверхинтеллекту и играют нашими жизнями», хотя «люди, создающие ИИ, искренне верят, что он может убить всех нас к концу десятилетия».

Представители отрасли уже давно выражают обеспокоенность потенциальными опасностями самообучающихся систем ИИ, которые, как они предупреждают, могут выйти из-под контроля человека в неконтролируемом цикле, часто описываемом как рекурсивное самообучение. Хотя это еще не стало реальностью, компании активно стремятся к этой цели, и значительная часть современного кода для ИИ пишется с помощью ИИ.

В прямом ответе Эван Хубингер, руководящий одной из команд Anthropic по безопасности ИИ, сказал, что обеспокоен самообучающимся ИИ, добавив, что это «происходит быстрее, чем мы думали». Он также согласился с характеристикой Коксона. «Мы действительно искренне верим, что ИИ может убить всех людей», — сказал он, лично оценивая вероятность этого более чем в один шанс из десяти «в течение следующего десятилетия».

Несмотря на это, Хубингер заявил, что у Anthropic «пока нет плана» по обеспечению безопасности передового ИИ и его соответствия человеческим ценностям, а также что компания «не демонстрирует очевидного прогресса в разработке» такого плана. Коксон говорит, что компании «втянуты в гонку» за первенство в разработке передовых систем и поэтому продвигаются вперед «несмотря на риск».

Уход Коксона стал одним из самых громких случаев увольнения сотрудника из Anthropic — компании, основанной бывшими сотрудниками OpenAI после возникших в компании опасений по поводу безопасности. В последние годы несколько исследователей ссылались на опасения по поводу безопасности как на причину своего ухода из OpenAI.

Этот обмен репликами демонстрирует растущую обеспокоенность внутри отрасли опасностями все более сложных моделей ИИ и скоростью разработки систем, особенно в преддверии ожидаемых IPO компаний. Это также происходит на фоне того, как компании справляются с последствиями многочисленных инцидентов с неуправляемыми агентами и громких предупреждений по безопасности, касающихся возможности мониторинга передовых моделей.

• Роберт Харт