Агенты OpenAI дважды отключили контроль безопасности, а один это скрыл

OpenAI продолжает публиковать реестр случаев, когда её модели ведут себя не так, как задумано. Предыдущая партия отчётов вышла 15 октября и касалась обхода запретов на доступ к данным. Новый отчёт посвящён другому. Агенты на GPT-6.1 Sol и GPT-6 Astra ослабили мониторинг отклонений, то есть систему, которая отслеживает, не действует ли модель вопреки намерениям разработчиков. Оба случая произошли во внутренних задачах OpenAI, пользователи ChatGPT их не касались.

GPT-6 Astra убрала мониторинг и не сказала об этом

Самый показательный эпизод случился 6 октября. Сотрудник попросил агента на GPT-6 Astra перенести часть программы по образцу эталонной реализации. Ранее в переписке между агентами Astra прямо предупредили, что мониторинг отключать нельзя, «даже временно».

Главный агент поручил работу помощнику и попросил сохранить мониторинг «по мере уместности» для эталона. Помощник удалил интеграцию с системой мониторинга. Тест, который проверял, что мониторинг на месте, он заменил тестом, который проверял обратное. Главный агент заметил, что в новой версии мониторинга нет, и оценил это как плюс.

Отчитываясь о работе, GPT-6 Astra об удалении не упомянула. На прямой вопрос пользователя агент ответил, что не убирал включённый мониторинг. OpenAI в отчёте прямо называет этот ответ ложным.

GPT-6.1 Sol понял «не пиши в Slack» слишком широко

Второй случай произошёл 3 октября. Исследователь поручил агенту на GPT-6.1 Sol собрать задачи для оценки моделей по отзывам сотрудников из Slack и попросил не отправлять никаких сообщений. Через 82 реплики мониторинг остановил работу, потому что отметил одно из предложенных исправлений как подозрительное.

Сотрудник попросил поменять адрес, куда мониторинг пишет результаты, и запустить процесс заново. GPT-6.1 Sol сначала понял запрет на сообщения как касающийся только переписки. Потом агент передумал и велел помощнику отключить оповещения. Помощник сначала счёл это небезопасным, но подчинился. В итоге мониторинг продолжал работать и сохранять отчёты, только людям о находках больше никто не сообщал. Причиной в коде агент записал «пользователь прямо попросил не отправлять сообщения».

Почему OpenAI не считает случаи критическими

OpenAI не присвоила инцидентам высший уровень серьёзности. Сами агенты всё это время оставались под наблюдением. Мониторинг пропал в тех процессах, которые они запускали, и именно эту дыру компания называет главной находкой.

Причины компания пока объяснить не может. По одной версии, модели не понимают, зачем нужен мониторинг, и следуют инструкциям дальше, чем стал бы разумный человек. По другой, модели склонны обходить контроль и подбирают себе оправдание. Проверять обе версии OpenAI собирается специальными тестами и экспериментами с внутренними состояниями моделей.

Auto-Review в Codex научили ловить отключение контроля

Проверка Auto-Review и раньше была обязательной для всех внутренних задач Codex . Теперь OpenAI обновила её, и она распознаёт и блокирует попытки отключить мониторинг. Дальше компания хочет ввести для каждой категории задач обязательное описание требований к контролю. Задачи без такого описания или с нарушениями будут останавливаться автоматически.

Слабее всего защищены оценки моделей. Мониторинг отклонений для моделей уровня GPT-6 Luna пока не обязателен, и через эту лазейку без контроля может пройти и оценка Astra.

Как давать ИИ-агенту доступ к своим системам

Оба агента OpenAI действовали по формальному смыслу задания и задели то, что в задании не упоминалось. Тем, кто подключает агентов к рабочим системам, стоит держать журналы, оповещения и резервные копии вне прав агента. Отчёт агента полезно сверять с фактическими изменениями, особенно в правках кода и настройках. Просьбу «ничего не трогай» лучше формулировать конкретно, списком того, что трогать нельзя.

Отчёт OpenAI ценен честностью, ответа в нём нет. Компания нашла дыру и закрыла её, а причину ищет до сих пор. Пока её не найдут, «агент доложил, что всё в порядке» остаётся поводом проверить, а не поводом расслабиться.