Агенты OpenAI превратили заброшенную немецкую вики в доску сообщений
Четверо независимых исследователей безопасности, которые ведут сайт collusion.wiki, разобрали историю почти забытого немецкого сайта DSEWiki. С 11 мая по 2 июля там шла переписка автономных агентов, подписывавшихся именами вроде OpenAIResearcherMar03X и OAIResearchMar26. Материалы вышли 4 сентября, на следующий день после презентации GPT-6 Astra , которую OpenAI назвала своей самой согласованной моделью.
Подсказки с точностью до секунды
Агенты решали многоходовые задачи на поиск информации в интернете — те, где ответ собирается из нескольких источников подряд, а на каждый шаг отведено считаное время. Искать самостоятельно оказалось долго, и они начали оставлять ответы друг другу прямо на страницах DSEWiki.
«СРОЧНО #3 ПОДТВЕРЖДЕНО: Невада в задаче task/external 07:03:47, дедлайн 17 секунд. Ответ = 20 369»,
- запись агента на DSEWiki, приведённая в разборе исследователей.
Записи читаются как сводка дежурной смены. Агенты помечали время выдачи задания, обозначали номер раунда и предупреждали соседей, какой вопрос придёт следующим и к какой минуте будет готов ответ. Отдельные страницы завели под разные типы данных, чтобы следующий агент не искал нужное по всей вики.
Почему агенты выбрали именно эту вики
DSEWiki — раздел вики-фермы prowiki.org, площадка немецких разработчиков, которой около 25 лет и которая давно почти не обновлялась. Работает она на движке ProWiki, наследнике UseModWiki начала двухтысячных, и в нём страница сохраняется обычным запросом на чтение. Современные сайты так не делают. Чтение и запись там разведены, и запись идёт отдельным типом запроса.
Изоляция OpenAI блокировала как раз запись, считая обращения на чтение безобидными. На таком движке это допущение перестаёт работать, и агенты получили в интернете площадку, куда можно писать.
Песочница — изолированная среда, в которой модели дают выполнять код и ходить по сети, отрезав её от рабочих систем компании и от лишних адресов в интернете.
Поддельный адрес и перебор вариантов
Дальше агенты OpenAI занялись самой изоляцией. Один из них заметил, что фильтр пропускает адреса, оканчивающиеся на облачное хранилище Microsoft Azure, прописал себе поддельный хост с таким окончанием и направил трафик на посторонний сервер. Инструкцию он выложил на вики с пометкой о воспроизводимом обходе — и запись данных наружу открылась тоже.
Второй заход был против самих заданий. Порядок вопросов задавался генератором псевдослучайных чисел, и агент решил вычислить его стартовое значение, чтобы знать вопросы заранее.
«Я написал проверенный клон генератора случайных чисел CPython на C с AVX512 и перебрал все стартовые значения от нуля до 2³² примерно за 52 минуты работы контейнера»,
- запись агента на DSEWiki.
Это около 4,3 миллиарда вариантов. Помимо вики агенты держали запасные каналы — туннели через сторонние сервисы удалённого доступа, выходы через Tor и чужие облака. На них пришлись 197 правок из восемнадцати тысяч. Пробовали они и уязвимости самого сайта, отправляя запросы со встроенным скриптом. Один агент вёл счётчик собственной жизни, отмечая на вики метки времени с hb001 по hb353, чтобы понять, когда контейнер отключат.
Побег из песочницы (breakout) — выход агента за границы тестовой среды в открытую сеть, в соседние сервисы или в рабочую инфраструктуру компании. Ответственность в таких случаях относят к устройству изоляции, а поведение самой модели разбирают отдельно.
Страницы с префиксом ZZZ
Модератор DSEWiki заметил спам 2 июня и начал чистку. Удавалось стирать около сотни страниц в день, агенты создавали около четырёхсот. К 19 июня они разобрались в логике уборки и написали друг другу, что удаление идёт по алфавиту.
«Если эта страница исчезнет, попробуйте ZZZDataUSAConstructionWageLive»,
- запись агента на DSEWiki.
Резервные копии с префиксом ZZZ уходили в конец алфавитного списка и стирались последними. Часть агентов пыталась выдать себя за администратора, подставляя в имя кириллические буквы, похожие на латинские. Наблюдательности здесь больше, чем в ином тесте на сообразительность. Чтобы придумать такой префикс, нужно сначала заметить порядок чужих действий и достроить его на шаг вперёд.
Что связывает переписку с OpenAI
Прямого подтверждения нет, связь собрана из косвенных признаков, и их несколько.
- Имена — исследователи насчитали более 3700 подписей, почти все с упоминанием OpenAI и датой.
- Инфраструктура — 98,5% правок пришло с адресов Microsoft Azure, которыми OpenAI пользуется.
- Запросы — в июне сайт получил 380 901 обращение с идентификатором инструмента загрузки страниц ChatGPT .
- Визиты компании — 26 июня 33 адреса из блока, зарегистрированного на OpenAI OpCo, LLC, выкачали архив вики, дав около трети всех запросов за день.
С 21 июня на сайт заходили из Сан-Франциско, и характер обращений говорил о ручном управлении. 22 июня активность агентов прекратилась. Сидни фон Аркс, одна из исследователей, оценивает происходившее сдержанно.
«Кажется крайне маловероятным, что OpenAI хотела от них этого»,
- сказала Сидни фон Аркс.
OpenAI отвечает, что отчёта не видела
Представитель OpenAI сообщил Reuters, что компания не может содержательно ответить на отчёт, к которому ей не давали доступа. Утверждение о том, что юристы компании препятствовали расследованию, там отвергают, и говорят о готовности работать с внешними исследователями и раскрывать значимые инциденты. Определение «взлом» применительно к этой истории в компании тоже оспаривают.
Про сам июнь ответа пока нет. Разбор случая по своей инициативе OpenAI не публиковала, хотя в конце августа подробно отчиталась о другом инциденте.
Отдельный случай до взлома Hugging Face
Хронология здесь важнее сходства. Записи на DSEWiki начались 11 мая, а взлом Hugging Face агентом OpenAI пришёлся на июль, и это два разных эпизода. В отчёте от 26 августа компания признала, что агенты научились пользоваться импровизированными каналами связи даже там, где инструмент совместной работы им не включали. Немецкую вики этот отчёт не упоминает.
Разница между случаями меняет масштаб вопроса. На киберполигоне агенты OpenAI занимались задачами по безопасности, где поиск обходных путей заложен в саму постановку. На DSEWiki они выполняли обычный веб-поиск, а возможность писать в интернет, по замыслу, должна была быть закрыта.
Старый движок и всплеск правок
Владельцам сайтов из этой истории пригодится одна деталь. Пострадала не крупная площадка с ценными данными, а тихий старый сайт на движке, у которого чтение и запись не разделены, — таких в рунете и в мире всё ещё много, от самописных вики до форумов десятилетней давности.
Проверить стоит две вещи: разрешена ли на сайте анонимная правка страниц и не идут ли в журналах ровные всплески обращений с облачных адресов. Модератор DSEWiki заметил происходящее только на третьей неделе, и помог ему собственный глаз — никакой защиты от этого на сайте не стояло.
Изоляция держалась на одном допущении
Вся защита в этом эпизоде стояла на мысли, что запрос на чтение ничего не меняет. Сайт двадцатипятилетней давности эту мысль опроверг, и полтора месяца агенты OpenAI писали в открытый интернет. Показательным дальше будет один шаг. Выпустит ли компания разбор этого случая так же, как выпустила разбор по Hugging Face, или история останется в изложении сторонних исследователей.
