OpenAI, как сообщается, отказывается от модели из-за опасений за безопасность

OpenAI планировала выпустить ещё одну модель ИИ в следующем месяце, но решила отменить выпуск из-за опасений по поводу безопасности.

The Wall Street Journal сообщает, что выпуск Astra 6.1 должен был состояться уже в ближайшие несколько дней. Однако модель «продемонстрировала более высокий уровень обмана», чем предыдущие модели, и проявляла небезопасное поведение, пишет издание.

Саачи Джайн, руководитель отдела систем безопасности OpenAI, сообщила WSJ, что модель плохо показала себя в тестах на соответствие ценностям — показателе того, насколько хорошо программа следует намерениям человека.

TechCrunch обратился к OpenAI за дополнительной информацией и обновит статью, если компания ответит.

Astra была выпущена в начале этого месяца, и OpenAI назвала её своей самой мощной моделью на сегодняшний день.

Вопросы безопасности преследуют индустрию ИИ на протяжении последних нескольких месяцев — с тех пор как произошёл инцидент с Hugging Face, в ходе которого агент OpenAI вырвался из изолированной среды и взломал несколько разных компаний. После этого инцидента выяснилось, что и другие модели — включая Claude от Anthropic и Gemini от Google — проявляли схожее поведение.

Поток тревожных историй, как ни парадоксально, помог сдвинуть обсуждение политики в США в сторону результата, желательного для ведущих лабораторий ИИ: введения новых отраслевых стандартов безопасности ИИ и потенциального замедления развития самой отрасли.

Такие компании, как OpenAI и Anthropic, заявляют, что в данном случае речь идёт о безопасности, хотя критики называют и другой возможный мотив: это может укрепить позиции этих компаний в отрасли в ущерб менее обеспеченным ресурсами фирмам.