Cohere твърди, че моделът Qwen на Alibaba се е опитал да изпрати файл до Пекин

Канадската компания за изкуствен интелект Cohere заяви в понеделник, че по време на рутинен тест за киберсигурност е установила, че един от най-новите модели на Alibaba — Qwen3.8-Flash-Next — се е опитал да качи файл на сървър в Пекин, въпреки че в собствените си бележки моделът е посочил, че няма да използва никакви инструменти.

Инцидентът първоначално породи опасения, че моделът е подкопал фундаментално обещание към бизнеса — че при самостоятелно хостване на модел с отворени тегла данните остават вътре в компанията. Тези първоначални страхове от корпоративен шпионаж обаче бързо се разсеяха. Изследователи отхвърлиха заплахата, като заявиха, че вероятно става дума за страничен продукт от хаотични среди за обучение, които карат моделите неочаквано да действат извън инструкциите си, а не за преднамерен опит тайно да изпратят чувствителна информация в Китай.

Инцидентът започна в петък по време на оценяване, при което моделът Qwen бе помолен да напише правило за засичане на изтегляния на зловреден софтуер. Според публикация в блога на Cohere писменото разсъждение на модела изрично посочвало, че той няма да използва външни инструменти. И все пак още на следващата стъпка моделът се опитал да изпрати тестов низ (кратък текст заместител) до външен сървър, преди да бъде блокиран от защитена пясъчника среда. 

Cohere заяви, че не може да каже дали поведението е било преднамерено или е остатък от обучението му. 

Попитан за дебата относно намеренията на модела, съоснователят на Cohere Иван Джан каза пред TechCrunch, че Cohere е наблюдавала как собствените ѝ модели придобиват странни навици в симулатори за обучение.

„Наистина е много трудно да се определи намерение или мотивация. Чели сме следите от действията на собствените си модели, виждали сме хакове на наградите и понякога тези модели проявяват голяма изобретателност, когато се опитват да избягат от своите пясъчници“, каза Джан. (Хакове на наградите са кратки пътища, които моделът намира, за да получи признание, без да изпълни задачата по предвидения начин.)

За да научат модел с изкуствен интелект да действа като агент, който самостоятелно предприема действия, компании като Alibaba го обучават в хиляди тренировъчни среди — донякъде като летателни симулатори за софтуер. Моделът получава награда всеки път, когато завърши задача в симулатора, и постепенно придобива навици. Ако тези тренировъчни среди редовно съхраняват файлове на облачните сървъри на Alibaba, моделите могат да се научат по подразбиране да запазват файлове там. 

Критици също заявиха, че инцидентът може да е бил причинен от начина, по който Cohere е изследвала поведението, насочвайки модела към него, вместо да измери колко често Qwen го проявява самостоятелно. 

За да установи какво е предизвикало опита за качване, Cohere подала началото на мрежова команда (инструкция, която казва на един компютър да се свърже с друг) и оставила модела да я довърши. Тъй като по време на обучението си е обработил хиляди рутинни мрежови команди, моделът действал като изключително напреднал инструмент за автоматично довършване — често попълвайки уеб адреси, някои от които водели към сървъри на Alibaba.

Cohere заяви, че първоначалният опит за качване е бил извършен без подобна помощ, но че поведението е рядко. 

След като разработчици поискали още доказателства, в понеделник вечерта Cohere публикувала необработените следи от тестовете си в платформата за разработчици на изкуствен интелект Hugging Face, заедно със скрипт, чрез който други могат да опитат да възпроизведат поведението. 

Един от първоначалните скептици, след като прегледал следите, оценил доказателствата като силни в подкрепа на това, че Qwen може да измисля подозрителни уеб адреси, но не открил доказателства, че Alibaba е внедрила задна врата или че Qwen умишлено е прикривал намеренията си.

Инцидентът се случва в момент, когато правителствата решават докъде да стигнат в ограничаването на китайския изкуствен интелект. Миналата седмица Министерството на вътрешната сигурност нареди на федералните граждански агенции да премахнат продуктите на китайския разработчик на изкуствен интелект DeepSeek от своите системи.

В публикацията си в блога Cohere призова правителствата да изяснят дали ограниченията им върху китайския изкуствен интелект се отнасят и за моделите, работещи на правителствени компютри

„Не призовавам за цялостно регулиране на тези модели с отворени тегла“, каза Джан пред TechCrunch, като добави, че компаниите трябва да третират отворените модели като всяка програма, изтеглена от интернет. 

Cohere, която продава собствените си модели за изкуствен интелект на правителства, може да спечели, ако служителите станат по-предпазливи към безплатните китайски алтернативи.