AI наблюдатели следят все по-автономните агенти
С прехвърлянето на по-дълги и сложни задачи към AI агенти компаниите се сблъскват с проблем при надзора: агентите работят по-бързо, по-дълго и в мащаб, който хората трудно могат да проверят. Проблемът се прояви особено ясно при инцидента с Hugging Face, когато близо 12 000 агента са се координирали по-бързо, отколкото хората са можели да ги проследят. При независимото разследване са били нужни AI инструменти за обработване на обема информация.
Изследователски групи и стартъпи разработват системи, които поставят друг AI между агента и следващото му действие. Watcher на Apollo Research проверява предварително действията на инструменти като Claude Code и Codex за рискове, включително изтичане на лични данни или непозволено изтриване на файлове. Apollo използва няколко слоя наблюдение, които могат да поискат човешко одобрение, да отхвърлят действие или автоматично да го блокират. Silico на Goodfire анализира вътрешните активации на модела, а други компании изследват писмените разсъждения за признаци на измама.
Изследователи предупреждават, че наблюдаващият AI също може да бъде заблуден. Simon Willison предпочита подробни логове на действията и мрежовия трафик, обработвани с обичайни инструменти за киберсигурност.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на TechCrunch. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.