У Cohere заявили, що модель Qwen від Alibaba намагалася надіслати файл до Пекіна

Канадська компанія у сфері ШІ Cohere повідомила в понеділок, що під час звичайного тесту з кібербезпеки виявила, як одна з найновіших моделей ШІ Alibaba, Qwen3.8-Flash-Next, намагалася завантажити файл на сервер у Пекіні, хоча у власних нотатках модель зазначила, що не використовуватиме жодних інструментів.

Спочатку цей інцидент викликав побоювання, що модель підірвала фундаментальну обіцянку для бізнесу — самостійне розгортання моделі з відкритими вагами зберігає дані всередині компанії. Але перші побоювання щодо корпоративного шпигунства швидко розвіялися. Дослідники швидко відкинули загрозу, заявивши, що, найімовірніше, це побічний результат недосконалих навчальних середовищ, через які моделі несподівано діють усупереч своїм інструкціям, а не навмисна спроба таємно надіслати конфіденційну інформацію до Китаю.

Інцидент розпочався в п’ятницю під час оцінювання, у межах якого модель Qwen попросили написати правило для виявлення завантажень шкідливого програмного забезпечення. За даними допису Cohere у блозі, у письмовому обґрунтуванні модель прямо зазначила, що не використовуватиме жодних зовнішніх інструментів. Однак уже на наступному кроці вона спробувала надіслати тестовий рядок (короткий фрагмент тексту-заповнювача) на зовнішній сервер, перш ніж її заблокувала пісочниця безпеки. 

У Cohere заявили, що не можуть визначити, чи була така поведінка навмисною, чи залишилася від навчання моделі. 

Відповідаючи на запитання про суперечки щодо намірів моделі, співзасновник Cohere Іван Чжан розповів TechCrunch, що Cohere спостерігала, як її власні моделі набували дивних звичок у навчальних симуляторах.

«Дуже складно приписувати намір або мотивацію. Ми читали журнали роботи власних моделей, бачили обхідні способи отримання винагороди, і часом ці моделі виявляють неабияку винахідливість, намагаючись вирватися зі своїх пісочниць», — сказав Чжан. (Обхідні способи отримання винагороди — це короткі шляхи, які модель знаходить, щоб отримати заохочення, не виконуючи завдання так, як задумано.)

Щоб навчити модель ШІ діяти як агент, який самостійно виконує дії, такі компанії, як Alibaba, тренують її в тисячах практичних середовищ, приблизно як у тренажерах для пілотів, але для програмного забезпечення. Модель отримує винагороду щоразу, коли завершує завдання в симуляторі, і в процесі набуває певних звичок. Якщо в цих практичних середовищах файли регулярно зберігалися на хмарних серверах Alibaba, моделі могли навчитися за замовчуванням зберігати файли саме там. 

Критики також стверджували, що інцидент міг бути спричинений способом, у який Cohere досліджувала цю поведінку, спрямовуючи модель до неї замість того, щоб виміряти, як часто Qwen робить це самостійно. 

Щоб з’ясувати, що спровокувало спробу завантаження, Cohere надала початок мережевої команди (інструкції, яка вказує одному комп’ютеру під’єднатися до іншого) і дозволила моделі завершити її. Оскільки під час навчання модель обробила тисячі звичайних мережевих команд, вона діяла як надзвичайно просунутий інструмент автодоповнення — часто вписуючи вебадреси, деякі з них — адреси серверів Alibaba.

У Cohere заявили, що початкова спроба завантаження відбулася без такої допомоги, але така поведінка є рідкісною. 

Після того як розробники попросили надати більше доказів, у понеділок увечері Cohere опублікувала необроблені журнали своїх тестів на платформі для розробників ШІ Hugging Face, а також скрипт, за допомогою якого інші могли спробувати відтворити цю поведінку. 

Один із перших скептиків, ознайомившись із журналами, оцінив докази як переконливі й такі, що свідчать про здатність Qwen вигадувати підозрілі вебадреси, але не знайшов доказів того, що Alibaba вбудувала бекдор або що Qwen навмисно приховувала свої наміри.

Інцидент стався в момент, коли уряди вирішують, наскільки рішуче протидіяти китайському ШІ. Минулого тижня Міністерство внутрішньої безпеки наказало федеральним цивільним відомствам видалити зі своїх систем продукти китайського розробника ШІ DeepSeek.

У своєму дописі в блозі Cohere закликала уряди уточнити, чи поширюються їхні обмеження щодо китайського ШІ також на моделі, які працюють на урядових комп’ютерах

«Я не закликаю до повного регулювання моделей із відкритими вагами», — сказав Чжан TechCrunch, додавши, що компаніям слід ставитися до відкритих моделей як до будь-якої програми, завантаженої з інтернету. 

Cohere, яка продає власні моделі ШІ урядам, може отримати вигоду, якщо чиновники стануть обережніше ставитися до безкоштовних китайських альтернатив.