OpenAI внедрила систему остановки исследовательских моделей

Control Room связывает эксперименты с обучением, оценку моделей и обработку данных с единым механизмом контроля. Решение относится к внутренней исследовательской инфраструктуре OpenAI . Для внешнего обслуживания моделей у компании уже есть отдельная централизованная возможность быстро отключать развёрнутые модели.

Остановка отдельной задачи

Исследователь запускает эксперимент и получает для него идентификатор в Control Room. Запросы на генерацию идут к движку модели с этим идентификатором. Прежде чем выполнить запрос, движок спрашивает у системы, разрешено ли задаче продолжать работу.

Если человек или система мониторинга подаёт команду остановки, Control Room помечает идентификатор задачи. Следующая проверка разрешения заканчивается отказом, и модель перестаёт выдавать результат для этого задания. Сам исследовательский процесс может остаться запущенным, а движок продолжит обслуживать другие разрешённые задачи.

Для каждой исследовательской задачи, в которой модель работает как агент, OpenAI требует заранее утверждённое обоснование безопасности. Идентификатор связывает задачу с таким обоснованием. Один эксперимент может использовать несколько моделей, а один движок обслуживать разные задачи.

Монитор подаёт сигнал

Все задачи обучения передовых моделей с подкреплением в OpenAI сопровождает монитор. Это другая модель, которая наблюдает за действиями обучаемой системы и подаёт сигнал, если обнаруживает проблему. В зависимости от характера и серьёзности ситуации мониторинг может сам решить остановить задание.

Команда передаётся в Control Room вместе с идентификатором. После остановки запросы этого задания к любой модели на любом движке должны получать отказ. Компания приводит в пример недавний инцидент, связанный с DNS, который выявил монитор. Она не утверждает, что именно Control Room тогда остановила ту задачу.

Задержка до 35 секунд

По данным OpenAI, после получения команды остановки дальнейшая работа становится невозможной максимум через 35 секунд. Задержка связана с кэшированием разрешений, которое помогает выдерживать объём запросов. Компания работает над её сокращением до нуля, но сроков не называет.

Механизм встроен в слой выполнения моделей. Код отдельных экспериментов для этого не используют. Код исследовательских задач часто меняется и может содержать ошибки. Движков значительно меньше, поэтому их проще централизованно проверять. OpenAI также постоянно ищет случаи запуска движков без работающей интеграции с Control Room, включая случайные и намеренные обходы.

Защита на случай сбоя

Если сама Control Room недоступна из-за ошибки или вмешательства, движки должны отклонять все запросы к моделям до восстановления сервиса. Такой режим уже действует для исследовательских задач с передовыми моделями. Для остальных исследовательских задач компания планирует завершить его внедрение в ближайшие дни.