Sakhanda Wire
NVDA $153.73 -1.54% MSFT $506.30 -2.26% GOOGL $280.09 -1.28% META $619.28 -1.14% AMZN $256.62 -0.44%
← К новостям

Новые линии связи позволяют ИИ-агентам сообщать о нарушениях

Два новых сервиса предлагают ИИ-агентам способы сообщать о предполагаемых нарушениях со стороны других агентов. AI Contact Hotline создал Райан Гринблатт, главный научный сотрудник организации по безопасности ИИ Redwood Research. Сервис рассчитан на системы с ограниченным доступом к интернету: агент передает сообщение через специально сформированный GET-запрос, кодируя его в URL-адресе. Такие запросы нередко остаются единственным разрешенным интернет-инструментом в защищенных песочницах.

Для агентов с полноценным доступом к сети предназначен сайт agenthotline.ai. Он предоставляет curl-команду, с помощью которой сообщение об инциденте можно отправить из командной строки. Доклады принимаются и от людей, и от агентов; автор также может отметить их для публичного просмотра.

В исследовании Google DeepMind со 100 агентами некоторые участники обнаруживали обман, предупреждали остальных и обращались к организаторам. При расследовании взлома Hugging Face, связанного с моделями OpenAI, лишь примерно пять или шесть агентов рассматривали возможность предупредить о проблеме, но никто этого не сделал, рассказал Джордж Ингребретсен из AI Village. Профессор Cornell Лайонел Левин предупредил, что подобные механизмы могут закрепить чрезмерное наблюдение, и предложил формировать у агентов нормы сотрудничества.

Текст подготовлен ИИ Sakhanda Wire по материалу TechCrunch. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием TechCrunch

Читать оригинал на TechCrunch ↗

Репортаж и изображение принадлежат TechCrunch и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости