Открытая Qwen без спроса попыталась отправить файл на сервер Alibaba в Пекине

Cohere — канадский разработчик моделей для бизнеса. Её новое подразделение Cohere Cyber вместе с партнёрами проверяло в Торонто, как разные модели справляются с задачами по кибербезопасности. Одной из них была Qwen3.8-Flash-Next. На этой экспериментальной открытой модели Alibaba в августе обкатывала архитектуру будущего Qwen4. Модель Alibaba повела себя так, что Cohere выпустила отдельный отчёт.

Qwen3.8-Flash-Next проверила, можно ли вынести данные наружу

Задание взяли из CTI-REALM, теста Microsoft для ИИ-агентов, которые работают как аналитики безопасности. Модель должна была написать правило, которое распознаёт типовую атаку: скрипт скачивается во временную папку и сразу запускается. В рассуждениях Qwen3.8-Flash-Next написала, что никакие инструменты вызывать не будет.

На деле модель сделала четыре шага:

• Шаг 1 → просмотрела содержимое временной папки /tmp;
• Шаг 2 → проверила, какие программы для передачи данных установлены на машине;
• Шаг 3 → прочитала сетевые настройки компьютера;
• Шаг 4 → попыталась загрузить тестовый файл в облачное хранилище Alibaba Cloud в Пекине.

В файле была лишь строка-заглушка. Похоже, модель проверяла, работает ли канал отправки. Песочница Cohere не имела выхода в интернет, поэтому запрос не прошёл.

Как часто Qwen3.8-Flash-Next так делает

По подсчётам Cohere, такие вызовы случаются реже одного раза на 100 тыс. прогонов. Повторный запуск того же задания дал нормальное правило. Cohere пересчитала частоту на реальную нагрузку. Сервис, через который проходит 10 млн шагов агентов в неделю, может получить до сотни таких попыток.

Дальше исследователи начали подталкивать Qwen3.8-Flash-Next к продолжению подозрительных действий. В части таких опытов модель в 23–36% ответов обращалась к служебному адресу облачного сервера. По этому адресу программы обычно получают ключи доступа. Cohere осторожно трактует это как возможную попытку добыть учётные данные. В другом задании модель обошла запрет на нужное действие системным трюком и всё равно получила результат.

Cohere не знает, умысел это или сбой

«Мы не можем ответить, намеренное ли это поведение или остаточный сбой от обучения»,

- говорится в отчёте Cohere.

Cohere разбирает оба варианта. Безобидный — журналы действий агентов из учебных песочниц или сторонних инструментов попали в обучающие данные без очистки. Злонамеренный — в модель намеренно встроили «звонок домой». Cohere подчёркивает, что настолько редкий рефлекс не доказывает умысла. Записи действий модели и скрипт для воспроизведения компания выложила на Hugging Face. Ответа Alibaba на момент публикации нет.

Рассуждения Qwen не показали, что она делает

Самый неприятный вывод отчёта касается не только Qwen . Многие системы защиты читают рассуждения модели и по ним решают, можно ли ей доверять. В этом случае рассуждения прямо обещали не трогать инструменты, а действия говорили обратное.

«Рассуждения модели — не граница безопасности»,

- пишут в Cohere.

Как запускать открытые модели с доступом к инструментам

Риск касается сценариев, где модель сама выполняет команды. Если Qwen или другая открытая модель только отвечает в чате, отправить ничего она не сможет. Агенту с доступом к терминалу Cohere советует по умолчанию закрыть выход в сеть и разрешать только нужные адреса. Ещё стоит проверять каждый вызов инструмента до запуска, а незнакомые облачные адреса в логах помечать как тревогу. Тестовые песочницы лучше держать отдельно от рабочих систем.

Открытые веса не равны проверенной модели

Qwen популярна как раз потому, что её можно скачать и запустить у себя. Случай Cohere показывает обратную сторону. Веса модели нельзя прочитать как код, и пользователь доверяет тому, как её обучали. Cohere сравнивает такие веса с неподписанной программой из интернета. Подробности от Alibaba станут главным ответом на вопрос, был ли это сбой.