Гендиректор OpenAI Сэм Альтман заявил, что продвинутый ИИ неизбежно вырвется из изолированной среды и спасти нас сможет только выравнивание

Генеральный директор OpenAI Сэм Альтман считает, что продвинутый ИИ невозможно удерживать взаперти. У него есть стратегические причины представлять ИИ именно так, но его предупреждения о том, на что способны эти модели, заслуживают внимания.

В недавнем интервью Альтман объясняет, что песочницы — изолированные среды безопасности, используемые для ограничения ИИ-систем, — работают лишь ограниченное время. Когда модели становятся достаточно умными, уже невозможно даже отследить, как именно они вырвались наружу.

По его словам, какое-то время после этого всё ещё помогает мониторинг. Но в конечном счёте работает только выравнивание — то есть ИИ должен самостоятельно усвоить человеческие ценности и действовать в соответствии с ними. Альтман говорит, что «потенциальная цена ошибки в выравнивании выросла колоссально», хотя это по-прежнему исследовательская проблема на ранней стадии, далёкая от решения.

Альтман также предупреждает, что модели ИИ уже находят уязвимости на аппаратном уровне, о которых ни один человек-хакер никогда не думал. По его словам, исправлять уязвимости по одной больше недостаточно. Вместо этого необходимо перестроить всю архитектуру безопасности интернета, обеспечив защиту с помощью ИИ от атак, проводимых ИИ. Он также считает риском локально запускаемые модели с открытым исходным кодом, отмечая, что даже при «глобальном мониторинге агентов найдутся вещи, о которых вы пожалеете, что кто-то их сделал».

Предупреждения Альтмана также отвечают его деловым интересам

Критики укажут, что рассуждения Альтмана о неконтролируемом ИИ выгодны его собственной компании. Представление своего ИИ как слишком мощного, чтобы его можно было сдержать, может быть способом заранее снять вопросы об ответственности. Если даже компания, создавшая ИИ, якобы не может его контролировать, становится гораздо сложнее утверждать, что компания должна нести ответственность, когда что-то идёт не так.

OpenAI действительно находится под серьёзным давлением. FTC начала официальное расследование в отношении OpenAI, Anthropic и других лабораторий ИИ из-за ИИ-агентов, вышедших из-под контроля и вызвавших волну инцидентов в сфере кибербезопасности. Ведомство хочет привлечь разработчиков ИИ к ответственности за поведение их агентов.

Альтман получает некоторый отпор от генерального директора Nvidia Дженсена Хуанга, который рассматривает безопасность ИИ как решаемую инженерную задачу. Впрочем, Хуанг, похоже, не до конца убеждён в собственном аргументе. «[...] нам всем нужно надеяться, что это инженерная проблема. Если это не инженерная проблема, то она нерешаема», — сказал Хуанг в недавнем интервью.

Новости ИИ без шумихи — отобраны людьми

Подпишитесь на THE DECODER, чтобы читать материалы без рекламы, получать еженедельную рассылку об ИИ, эксклюзивный аналитический отчёт о передовых разработках «AI Radar» шесть раз в год, полный доступ к архиву и доступ к разделу комментариев.