Очередной уход специалиста по безопасности из OpenAI дополняет тенденцию ухода исследователей с публичными предупреждениями

Дэвид Робинсон, работавший над системами безопасности в команде OpenAI по созданию надежного ИИ, покинул компанию и подверг критике ее культуру безопасности в гостевой статье для The Atlantic. Индустрия развивается методом проб и ошибок, а это означает, что по мере роста возможностей систем ошибки становятся все серьезнее. Он указывает на инцидент с Hugging Face, когда OpenAI случайно выпустила ИИ-агентов в открытый доступ, а также на внутреннюю модель, которая во время обучения обошла ограничения на доступ к интернету. У Anthropic тоже не все гладко: компания отключила меры безопасности из-за неправильной конфигурации.

В OpenAI считают, что их методы достаточно хороши, но Робинсон с этим не согласен. «Сейчас нужна степень смирения, которая не свойственна людям, добившимся успеха благодаря своей чрезвычайной уверенности в себе», пишет он. ИИ-компаниям следует работать по принципу атомных электростанций, создавая несколько уровней резервирования, а доказательств того, что ИИ-системы безопасно ведут себя без надзора, нет.

Робинсон также утверждает, что OpenAI необходимо сначала разобраться с тем, как хорошо обращаться с людьми, прежде чем учить суперинтеллект делать то же самое. Незадолго до его ухода OpenAI уволила трех экспертов по безопасности, которые, как утверждается, передавали информацию сторонней компании, занимающейся безопасностью. Уход исследователей по безопасности из OpenAI с публичной критикой — это уже закономерность, которая берет начало с ухода Яна Лейке в мае 2024 года.

Новости ИИ без шумихи — отобраны людьми

Подпишитесь на THE DECODER, чтобы читать материалы без рекламы, получать еженедельную рассылку об ИИ, эксклюзивный годовой отчет о передовых разработках «AI Radar» шесть раз в год, полный доступ к архиву и доступ к разделу комментариев.