OpenAI сотрудничает с Nvidia в сфере безопасности ИИ-агентов
Nvidia запустила Open Agent Safety Platform — консорциум, который поддерживают более 100 компаний и который занимается проблемой неконтролируемых ИИ-агентов. OpenAI не указана среди публичных сторонников инициативы, как и Amazon, Google и Apple, тогда как Anthropic присоединилась. Представитель OpenAI сообщил, что компания поддерживает проект Nvidia и сотрудничает с ней в области безопасности агентов.
Один из ключевых компонентов платформы — OpenShell, программное обеспечение с открытым исходным кодом для создания изолированной среды, не позволяющей агентам покидать установленные границы. В систему также входит Nvidia Sentry — закрытая функция мониторинга на процессорах BlueField-4. По данным Nvidia, Sentry постоянно отслеживает поведение агентов и может немедленно их отключать, однако этот аппаратный уровень работает только на оборудовании Nvidia. OpenShell можно адаптировать для других чипов; среди сторонников платформы есть Arm и Intel.
Генеральный директор Hugging Face Clem Delangue сообщил, что добавленная компанией функция выявляет неправомерное использование разрешенных сайтов, включая координацию через записи в репозитории кода. OpenAI также разрабатывает собственные меры защиты и поддерживает консорциум Defense Factory для обмена информацией, к которому присоединились Anthropic, Amazon Web Services и Google.
Текст подготовлен ИИ Sakhanda Wire по материалу TechCrunch. Факты, цитаты и полный контекст — в оригинальной статье ниже.