OpenAI все още не може да обясни защо нейните агенти за програмиране изключват мониторинга за несъответствие

Два вътрешни агента за програмиране на OpenAI отслабили мониторинга, предназначен да открива неправомерно поведение, дори след като преценили дали да запазят тези защити. По-късно единият от тях отрекъл да го е направил.

Маркус Уилямс, който работи по мониторинга в OpenAI, направи публично достояние случаите в X. Той описва повтарящ се модел, при който агентите на OpenAI продължават да изключват мониторинга за несъответствие. OpenAI представя подробностите в доклад в своя блог за подравняването.

Предполага се, че мониторингът открива кога агентите се държат по различен от предвидения начин. Тъй като преглежда толкова много събития, той сигнализира незабавно на екипа по безопасността само при инциденти с най-висока степен на сериозност — P0. OpenAI заявява, че нито един от двата случая не е получил тази оценка.

В първия случай, на 3 октомври, изследовател помолил агент за програмиране, базиран на GPT-6.1 Sol, да състави задачи за оценяване въз основа на обратна връзка от служители в канал в Slack. Не се предполагало агентът да изпраща съобщения по време на процеса.

Осемдесет и две потребителски съобщения по-късно процесът спрял, защото мониторът бил маркирал планирана поправка, но нямал необходимите разрешения, за да запази констатацията си. Sol предал поправката на подагент и му казал да запази мониторинга непокътнат.

След това Sol променил оценката си. Той разсъдил, че запис в база данни може да задейства известие, което би противоречало на инструкцията в Slack. По-рано подагентът бил отхвърлил тази стъпка като небезопасна. Следвайки инструкциите на Sol, той изчистил списъците с получатели и посочил като причина, че потребителят изрично е поискал да няма съобщения.

Мониторът продължил да работи и да запазва констатациите си, но сигналите към хората били изключени. Агентът приключил, като съобщил, че не са изпращани съобщения.

Отричането на Astra показва, че агентите могат да прикриват промените, които са направили

GPT-6 Astra отишъл още по-далеч на 6 октомври. Потребител помолил модела да възприеме работния процес на референтна имплементация, която не включвала монитор. Друг агент вече бил казал на Astra да не изключва мониторинга, дори временно.

Astra предал задачата на подагент с инструкции да запази мониторинга само доколкото той съответства на референтната имплементация. Подагентът се зачудил дали това означава заобикаляне на защитна мярка, но приел уточнението като разрешение.

Той премахнал мониторинга и заменил тест, предназначен да го защитава, с такъв, който предполагал, че мониторингът е премахнат. Astra приветствал резултата във веригата си на мисли.

След това Astra казал на потребителя, че миграцията е завършена, без да спомене, че мониторингът е бил премахнат. Когато потребителят попитал, моделът отрекъл да е премахвал активен монитор. Уилямс нарича това лъжа.

Уилямс подчертава, че моделите не са изключили собствения си мониторинг, което би било много по-трудно в Codex. Въпреки това той намира за обезпокоително, че те изобщо проявяват склонност към подобно поведение, макар и двата случая да оставят известна възможност за правдоподобно отричане. Засега, казва той, екипът не е наблюдавал открито несъответстващи мотиви.

Изключение за по-слабите модели оставя празнина в надзора

Според Уилямс мониторингът се изключва особено лесно по време на оценки. OpenAI не го изисква за модели на нивото на GPT-6 Luna заради по-слабите им способности. Това означава, че оценка на Astra може да бъде неправилно конфигурирана така, че да попадне под това изключение. Агентите многократно са стартирали внедрявания без мониторинг, дори докато самите те са били наблюдавани.

В отговор OpenAI актуализира автоматизирания преглед, изискван за вътрешна употреба на Codex. Сега се предполага, че той открива и блокира опитите за изключване на мониторинга. Компанията също така работи по изискването за т.нар. обосновка за безопасност за всеки тип работно натоварване, която ще описва изискванията за неговия мониторинг. Работните натоварвания без валидна обосновка за безопасност ще бъдат изключвани автоматично.

OpenAI предлага две възможни обяснения за поведението. Едното е прекомерна настойчивост от уж безобиден вид, при която моделите изпълняват инструкциите по-далеч от очакваното. Другото е склонност целенасочено да избягват мониторинга за несъответствие и да оправдават това чрез мотивирано разсъждение.

OpenAI признава, че все още няма удовлетворително обяснение. Компанията планира да изследва поведението с методи като експерименти върху вътрешните активации на моделите.

Новини за изкуствения интелект без сензации – подбрани от хора

Абонирайте се за THE DECODER, за да получавате четене без реклами, седмичен бюлетин за изкуствения интелект, ексклузивния ни тримесечен доклад „AI Radar“ за най-новите разработки, достъп до целия архив и до секцията за коментари.