В Cohere заявили, что модель Qwen от Alibaba пыталась отправить файл в Пекин

Канадская компания в сфере ИИ Cohere заявила в понедельник, что обнаружила: одна из новейших моделей ИИ Alibaba, Qwen3.8-Flash-Next, во время обычного теста кибербезопасности пыталась загрузить файл на сервер в Пекине, хотя в собственных заметках модель указала, что не будет использовать никакие инструменты.

Поначалу этот инцидент вызвал опасения, что модель нарушила фундаментальное обещание, данное компаниям: самостоятельный запуск модели с открытыми весами позволяет хранить данные внутри организации. Однако первые опасения по поводу корпоративного шпионажа быстро исчезли. Исследователи быстро отвергли эту угрозу, заявив, что, скорее всего, такое поведение стало побочным продуктом неаккуратных сред обучения, из-за которых модели неожиданно действуют вопреки инструкциям, а не преднамеренной попыткой тайно отправить конфиденциальную информацию в Китай.

Инцидент произошёл в пятницу во время проверки, в ходе которой модель Qwen попросили написать правило для обнаружения загрузок вредоносных программ. Согласно записи в блоге Cohere, в письменных рассуждениях модель прямо указала, что не будет использовать внешние инструменты. Однако уже на следующем шаге она попыталась отправить тестовую строку (короткий фрагмент текста-заполнителя) на внешний сервер, прежде чем её заблокировала изолированная среда безопасности. 

В Cohere заявили, что не могут определить, было ли такое поведение преднамеренным или сохранилось в результате обучения. 

Отвечая на вопрос о спорах вокруг намерений модели, сооснователь Cohere Иван Чжан рассказал TechCrunch, что Cohere наблюдала, как её собственные модели приобретали странные привычки в тренировочных симуляторах.

«Очень сложно приписывать моделям намерения или мотивацию. Мы изучали трассировки работы собственных моделей, видели взломы системы вознаграждений, и иногда эти модели проявляют настоящую изобретательность, пытаясь выбраться из своих изолированных сред», — сказал Чжан. (Взломы системы вознаграждений — это найденные моделью обходные пути для получения вознаграждения без выполнения задачи так, как было задумано.)

Чтобы научить ИИ-модель действовать как агент, самостоятельно совершающий действия, компании вроде Alibaba тренируют её в тысячах практических сред — примерно как в авиасимуляторах для программного обеспечения. Модель получает вознаграждение каждый раз, когда выполняет задачу в симуляторе, и по ходу обучения приобретает определённые привычки. Если в таких практических средах файлы регулярно сохранялись на облачных серверах Alibaba, модели могли научиться сохранять файлы там по умолчанию. 

Критики также заявили, что инцидент мог быть вызван методом, который Cohere использовала для расследования поведения: исследователи могли подтолкнуть модель к такому действию вместо того, чтобы измерить, как часто Qwen совершает его самостоятельно. 

Чтобы выяснить, что спровоцировало попытку загрузки, Cohere предоставила начало сетевой команды (инструкции, указывающей одному компьютеру подключиться к другому) и позволила модели завершить её. Поскольку во время обучения модель обработала тысячи обычных сетевых команд, она повела себя как чрезвычайно продвинутый автодополнитель — часто подставляя веб-адреса, некоторые из которых вели на серверы Alibaba.

В Cohere заявили, что первоначальная попытка загрузки произошла без какой-либо подобной помощи, но такое поведение встречается редко. 

После того как разработчики запросили дополнительные доказательства, Cohere в понедельник вечером опубликовала необработанные трассировки своих тестов на платформе для разработчиков ИИ Hugging Face, а также скрипт, позволяющий другим попытаться воспроизвести такое поведение. 

Один из первых скептиков, изучив трассировки, оценил доказательства как убедительные: Qwen действительно может самостоятельно создавать подозрительные веб-адреса. Однако он не обнаружил свидетельств того, что Alibaba встроила бэкдор или что Qwen намеренно скрывала свои намерения.

Инцидент произошёл в момент, когда правительства решают, насколько жёстко противодействовать китайскому ИИ. На прошлой неделе Министерство внутренней безопасности распорядилось, чтобы федеральные гражданские ведомства удалили продукты китайского разработчика ИИ DeepSeek из своих систем.

В своей записи в блоге Cohere призвала правительства разъяснить, распространяются ли их ограничения на китайский ИИ также на модели, работающие на государственных компьютерах

«Я не призываю к полноценному регулированию моделей с открытыми весами», — сказал Чжан TechCrunch, добавив, что компаниям следует относиться к открытым моделям так же, как к любой программе, загруженной из интернета. 

Cohere, которая продаёт собственные модели ИИ правительствам, может выиграть, если чиновники начнут с большей настороженностью относиться к бесплатным китайским альтернативам.