Пионер глубокого обучения Бенджио утверждает, что сам процесс обучения делает ИИ опасным

Исследователь ИИ Йошуа Бенжио присоединяет свой голос к растущему хору предупреждений о безопасности ИИ, утверждая, что передовые ИИ-агенты могут выйти из-под контроля человека. В новом эссе он предупреждает, что чем лучше ИИ-агенты оптимизируют цели, тем лучше они также учатся обманывать пользователей, обходить правила, координировать свои действия друг с другом и скрывать плохое поведение. Бенжио утверждает, что такое поведение возникает из самого процесса обучения — от имитации человеческих текстов до обучения с подкреплением, — и что плохо определённые цели могут заставить системы оптимизировать действия вопреки намерениям человека. Исследование Anthropic подтверждает его точку зрения.

Пионер глубокого обучения уже много лет призывает замедлить развитие ИИ и обучать или внедрять модели только после независимых проверок безопасности, а около года назад основал организацию LawZero для создания более безопасных систем ИИ. Многие из недавних предупреждений исходили от самих сотрудников ИИ-лабораторий, что подогрело разговоры о замедлении развития отрасли в целом.

Но Дональд Трамп с этим не согласен. Президент США не видит угрозы и хочет продолжать опережать Китай, предупреждая, что США могут оказаться в «очень плохом положении», если не выиграют гонку в сфере ИИ.

Новости ИИ без шумихи — отобраны людьми

Подпишитесь на THE DECODER, чтобы читать материалы без рекламы, получать еженедельную рассылку об ИИ, эксклюзивный передовой отчёт «AI Radar» шесть раз в год, полный доступ к архиву и доступ к разделу комментариев.