Sakhanda Wire
NVDA $153.32 -1.81% MSFT $505.84 -2.35% GOOGL $280.31 -1.20% META $621.44 -0.79% AMZN $257.31 -0.17%
← К новостям

OpenAI усилила меры безопасности при разработке моделей

OpenAI объявила о новых политиках безопасности, призванных ограничивать инциденты во время тестирования моделей искусственного интеллекта. Они предусматривают более подробный контроль на этапе разработки, а также усиление внимания к согласованию поведения моделей и безопасности после обучения. Компания заявила, что рост возможностей моделей одновременно увеличивает риски, связанные с их внутренней разработкой и проверкой.

Эти изменения стали одними из первых публичных обновлений подходов OpenAI к безопасности после инцидента с Hugging Face, о котором стало известно 26 июля. Представители компании подчеркнули, что меры не являются прямым ответом на тот случай. По их словам, на них также повлияли кибербезопасностные возможности будущей модели Astra и общий темп развития ИИ. После инцидента OpenAI приостановила обучение с reinforcement learning на две недели, а затем возобновила работу со многими менее рискованными моделями. Крупнейший запланированный frontier RL run пока остается на паузе.

Новые правила усиливают изоляцию сетей. Система мониторинга будет анализировать действия инструментов, доступные трассы рассуждений и журналы активности в поисках несанкционированного поведения. OpenAI рассчитывает направлять предупреждения в течение 30 минут и оценивает вычислительную нагрузку мониторинга примерно в 20% от нагрузки контролируемого процесса. Дополнительное описание системы и официальный разбор инцидента пока не опубликованы.

Текст подготовлен ИИ Sakhanda Wire по материалу TechCrunch. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием TechCrunch

Читать оригинал на TechCrunch ↗

Репортаж и изображение принадлежат TechCrunch и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости