Сотрудник OpenAI по вопросам безопасности уволился и бьёт тревогу

Дэвид Робинсон раньше писал отчёты о безопасности в OpenAI, а теперь говорит, что её культура «сломана»

Дэвид Робинсон раньше писал отчёты о безопасности в OpenAI, а теперь говорит, что её культура «сломана»

Дэвид Робинсон раньше писал отчёты о безопасности, сопровождавшие каждый крупный выпуск модели OpenAI. На этой неделе он ушёл со своей должности и теперь выступает с редакционной статьёй в The Atlantic.

Вполне понятно, если вы настроены несколько цинично из-за того, что все вдруг начали выходить из тени и предупреждать об опасности того, что сами помогли создать. В конце концов, именно они устроили этот беспорядок. Но это не значит, что мы должны игнорировать их предупреждения.

Робинсон говорит, что культура в отрасли фундаментально сломана. По его словам, проблема глубже, чем просто введение нескольких новых правил или нормативов для работы с обучением моделей. Кремниевая долина действовала с «чрезмерной уверенностью» и в режиме «вечных спринтов», создавая всё более крупные и совершенные модели с «неограниченным оптимизмом», который игнорирует или недооценивает потенциальные проблемы.

Он говорит, что для компаний, занимающихся ИИ, пришло время обрести скромность и выйти за пределы замкнутого мира технологической индустрии, живущего по принципу «двигайся быстро и ломай всё». В частности, по его словам, ИИ необходимы меры защиты уровня ядерной отрасли:

Учитывая сегодняшние риски, передовые лаборатории должны работать как атомные электростанции или загруженные аэропорты — с многоуровневым резервированием и тщательным, требующим времени планированием, чтобы случайная и неизбежная человеческая ошибка не открыла путь к катастрофе.

Робинсон — лишь последний в растущей череде исследователей и специалистов по безопасности, покинувших свои должности в известных компаниях, занимающихся ИИ. Похоже, Джейкоб Коксон положил начало исходу, уволившись из Anthropic, а затем публично заявив, что ИИ «может уничтожить нас всех к концу десятилетия». За ним последовали Роберт О’Каллаган, Билал Чугтай и Джош Энгелс из Google DeepMind, а также Джо Бентон из Anthropic.

• Терренс О'Брайен