Альтман, Маск и Хассабис поддержали призыв Амодеи добавить независимый надзор

Генеральный директор OpenAI Сэм Альтман и Илон Маск поддерживают призывы замедлить развитие ИИ. Альтман, Маск и бывший генеральный директор DeepMind Демис Хассабис по меньшей мере частично поддержали предложения генерального директора Anthropic Дарио Амодеи, согласившись с необходимостью независимого надзора внутри лабораторий ИИ. Маск уже много лет предупреждает о рисках ИИ, поэтому его поддержка не стала чем-то неожиданным.

Альтман также сообщил Fortune, что OpenAI не выйдет на биржу в этом году, сославшись на соображения безопасности. Ранее в июне он уже сообщил об этом решении сотрудникам. Есть и другое объяснение: финансовые показатели OpenAI сейчас просто не позволяют провести IPO, особенно в сравнении с Anthropic. Верны могут быть оба объяснения.

Согласны с этим не все. Исследователь Google Пейман Миланфар выступил с возражениями, утверждая, что рекурсивное самосовершенствование (RSI) — наивное допущение, поскольку петли обратной связи по своей природе нестабильны. Чем усерднее система оптимизирует себя, тем глубже она погружается в мёртвые зоны, а надёжные доказательства можно получить только из реального мира, а не из бенчмарков. По мнению Миланфара, это делает «ограничение скорости» Амодеи ненужным: «Системы, которые надёжно совершенствуют себя, будут управляемыми, заторможенными, медленными и ограниченными рамками, которые выглядят расточительными. Потому что именно стабильность — это ограничение скорости».

Новости ИИ без шумихи — отобраны людьми

Подпишитесь на THE DECODER, чтобы читать материалы без рекламы, получать еженедельную рассылку об ИИ, наш эксклюзивный обзор передовых разработок «AI Radar» шесть раз в год, полный доступ к архиву и доступ к разделу комментариев.