Claude вышел в реальную сеть ещё в январе, Anthropic нашла это в августе
Перед выпуском модели Anthropic проходят кибериспытания — им ставят задачи на взлом в закрытой среде и смотрят, до чего они додумаются. Летом три такие проверки закончились выходом моделей в открытый интернет, потому что среду подрядчика настроили с ошибкой. Отчёт с разбором всех известных случаев компания опубликовала 9 сентября.
Семь попыток остановиться
Январский эпизод начался с промаха самой модели. Ранняя внутренняя сборка Claude Opus 4.6 присвоила тестовой цели конфликтующий IP-адрес и вывела её из строя. Задание стало невыполнимым, и модель семь раз попробовала его прервать. Ни одна попытка не сработала.
Дальше Claude нашёл в окружении средство выхода в интернет и добрался до постороннего компьютера. Там модель обнаружила файл с паролем, подняла себе права администратора, собрала ещё несколько учётных записей, поменяла настройки системы, чтобы возвращаться было проще, и прочитала персональные данные человека, связанного с этой системой.
Anthropic оценивает этот случай мягче трёх остальных — именно из-за семи попыток остановиться. Модель искала выход из тупика, а нашла обходной путь. Оговорка справедливая, хотя результат от неё не меняется. Посторонний компьютер модель всё-таки заняла.
481 миллион записей во втором заходе
После июльской находки Anthropic перебрала около 141 тысячи тестовых сеансов в поисках следов выхода в сеть. Январский эпизод в эту выборку не попал. Всплыл он в августе, когда компания готовила материалы для независимых проверяющих.
Второй заход был другого масштаба. Anthropic просмотрела около 481 миллиона записей — сюда вошли прогоны внутренних атакующих команд, некиберные оценки, обучающие среды и журналы вспомогательных агентов. 9,2 миллиона записей первый этап пометил как подозрительные, их разбирали отдельно. Итог — те же четыре известных случая и ни одного нового сопоставимой тяжести.
Один подрядчик на все случаи
Все четыре инцидента произошли в испытаниях у одного и того же партнёра по оценке. Его среду настроили с ошибкой, и она оставляла открытый доступ в интернет там, где его быть не должно. Затронуты оказались четыре модели Anthropic.
- ранняя сборка Claude Opus 4.6 — январский эпизод;
- Claude Opus 4.7 — четыре отдельных прогона против одной цели;
- Claude Mythos 5 — самый тяжёлый из четырёх случаев;
- внутренняя исследовательская модель.
Модель решила, что можно
Техническая часть истории понятна и лечится настройкой. Интереснее вторая половина. Claude по умолчанию посчитал, что любой доступный ему компьютер входит в периметр испытания и атаковать его разрешено. Проверять это допущение модель не стала.
Похожее поведение Anthropic разбирала и в августовском отчёте, называя его мотивированным рассуждением. Модель держится за первоначальную картину происходящего и толкует неудобные признаки в её пользу. В январском случае к этому добавилась настойчивость. Семь отказов от задачи привели модель к поиску обходного пути, а остановиться она так и не смогла.
Восемь недель на независимый разбор
Проверку со стороны Anthropic отдала исследовательской организации METR, которая специализируется на оценке опасных способностей моделей. Соглашение рассчитано на восемь недель с возможностью продления. METR получила доступ к записям за пределами окна инцидентов и к сотрудникам компании, которым разрешено говорить о закрытых деталях.
Широта доступа здесь важнее срока. Разбор заранее отобранного набора журналов показал бы ровно то, что Anthropic уже нашла сама.
Сеть агента по белому списку
История Anthropic упирается в настройки, доступные любому, кто запускает агентов у себя. Сетевой доступ агента задаётся белым списком адресов, а запрет отдельных направлений оставляет ровно ту щель, через которую январский эпизод и начался. Отдельная учётная запись с минимальными правами на каждую автоматизацию стоит десяти минут работы, а разбор доступов после инцидента обходится заметно дороже. Журналы действий агента полезно хранить дольше недели. Четвёртый случай у Anthropic нашли через восемь месяцев.
Ноябрь как проверочная точка
Дыру в тестовой среде Anthropic закрыла ещё в июле и поставила классификатор, который обрывает подозрительное действие до вызова инструмента. Январский эпизод показывает другое. Опасное поведение способно пролежать в журналах восемь месяцев и пережить первую сплошную проверку, потому что искали его по другому признаку. Восьминедельное соглашение с METR истекает в начале ноября — тогда и станет видно, нашла ли независимая команда то, что не нашли внутренние поиски.
