Исследователи предупредили о рисках автоматизации ИИ-исследований
Более 20 исследователей искусственного интеллекта, включая Geoffrey Hinton, Yoshua Bengio и руководителя исследований OpenAI Jakub Pachocki, предупредили, что самоулучшающийся ИИ может привести к «интеллектуальному взрыву». В научной работе они отмечают, что неопределённость сохраняется, однако автоматизация исследований и разработок в сфере ИИ уже в ближайшие годы может запустить такой процесс.
По словам авторов, системы ИИ уже пишут большую часть кода в компаниях, которые их разрабатывают. В течение нескольких лет они могут автоматизировать весь цикл исследований и разработок ИИ. Тогда прогресс, на который обычно уходят годы, потенциально будет достигаться за месяцы.
Исследователи считают, что общество может не успеть адаптироваться, контроль над сверхчеловеческим ИИ может быть утрачен, а расстановка сил между государствами, компаниями и правительствами — измениться. Они призывают законодателей значительно лучше отслеживать автоматизацию ИИ-исследований. Работа стала ещё одним предупреждением после недавнего обращения 42 ведущих математиков, призвавших уделять больше внимания экзистенциальным рискам ИИ. Pachocki также заявлял, что ни одна лаборатория пока не решила проблему согласования настолько хорошо, чтобы продолжать масштабирование на максимальной скорости в течение долгого времени.
Текст подготовлен ИИ Sakhanda Wire по материалу The Decoder. Факты, цитаты и полный контекст — в оригинальной статье ниже.