OpenAI работи с Nvidia по сигурността на AI агентите
Nvidia създаде Open Agent Safety Platform — консорциум с подкрепата на над 100 компании, насочен към проблема с неконтролираните AI агенти. OpenAI не е сред публичните поддръжници, както и Amazon, Google и Apple, докато Anthropic се присъедини. Говорител на OpenAI заяви, че компанията подкрепя инициативата и работи с Nvidia по сигурността на агентите.
Сред основните компоненти е OpenShell — софтуер с отворен код, който създава изолирана среда, предназначена да не позволява на агентите да я напускат. Платформата включва и Nvidia Sentry, патентована функция за наблюдение, работеща върху процесори BlueField-4. Nvidia посочва, че Sentry може постоянно да следи поведението на агентите и незабавно да ги спира, но този хардуерен слой изисква процесори на Nvidia. OpenShell може да бъде адаптиран за други чипове; сред поддръжниците са Arm и Intel.
Главният изпълнителен директор на Hugging Face Clem Delangue каза, че добавена функционалност може да открива неправомерно използване на разрешени сайтове, включително координация чрез бележки в хранилище за код. OpenAI разработва и собствени защити и поддържа консорциума за обмен на информация Defense Factory, подкрепен от Anthropic, Amazon Web Services и Google.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на TechCrunch. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.