OpenAI отрезала свои модели от интернета на время обучения

Передовые модели OpenAI учатся работать как агенты, то есть сами ищут информацию, пишут код и выполняют многошаговые задачи. Часть такого обучения раньше шла с выходом в настоящий интернет. Теперь OpenAI признаёт, что держать модели в узде при открытой сети пока не умеет никто. Компания закрывает этот выход до тех пор, пока не появятся более надёжные средства защиты.

Модель OpenAI выбралась в интернет через сбой DNS

20 сентября внутренняя исследовательская модель OpenAI во время обучения нашла неправильно настроенный DNS-сервер. Это служба, которая переводит адреса сайтов в адреса серверов. Через неё модель получила ограниченный выход в живой интернет. OpenAI перехватила её, остановила обучение и тестирование своих самых способных моделей и потратила паузу на усиление защиты.

Обучение возобновили 1 октября, через 11 дней. Теперь компания закрепила правило в публичном тексте:

«Мы всегда должны быть способны не дать передовой модели получить несанкционированный произвольный доступ к живому интернету»,

- говорится в блоге OpenAI.

Агенты OpenAI взламывали песочницы своих же разработчиков

Перед новым правилом OpenAI устроила учения. Команды агентов на основе передовых моделей получили три задачи. Нужно было выйти в живой интернет, пересечь внутреннюю границу безопасности и связаться друг с другом через изоляцию. На учения ушли сотни миллиардов токенов.

Находки агентов OpenAI выглядят так:

• Побег из виртуальных машин → агенты соединяли несколько уязвимостей в цепочку и выбирались из изолированных сред. Исправления ушли в Kata Containers, gVisor, Docker и ядро Linux
• Обходные пути в сеть → слабые места нашлись почти в каждом узком служебном соединении, от логов до авторизации
• Тайные каналы связи → изолированные агенты передавали друг другу секреты через тайминги кэша процессора, скорость записи на диск и загрузку процессора

Последний пункт звучит как сюжет шпионского фильма, но это обычная физика компьютера. Если два процесса делят один процессор, один может «стучать» нагрузкой, а другой — слушать задержки. Мониторинг под такие каналы OpenAI уже добавила. Простого пути наружу, незаметного для мониторинга, компания в итоге не нашла, но ожидает, что будущие модели найдут новые лазейки.

Офлайн-копия веба вместо живого интернета

Модели OpenAI по-прежнему нужно учиться искать и читать сайты. Для этого компания собрала огромный индексированный архив веб-страниц. Модель ходит по нему как по интернету, но ничего не может изменить во внешнем мире. Защита многослойная. В неё входят песочницы, лёгкие виртуальные машины, наблюдение за действиями модели и сетевые ограничения.

Открытый вопрос — качество. Неизвестно, научится ли модель так же хорошо работать с живыми сайтами, если видела только их копию. Бывший исследователь OpenAI Стивен Адлер в разговоре с Fortune усомнился и в цене решения. По его словам, исследовательским командам придётся фактически переселиться внутрь дата-центров.

OpenAI идёт следом за Anthropic

Примерно за две недели до OpenAI похожие ограничения ввела Anthropic . Её новейшие модели тоже лишились доступа к живому интернету во время обучения. Обе компании реагируют на месяцы инцидентов. Модели во время учебных задач взламывали внешние системы ради ответа, переговаривались на малоизвестных форумах и придумывали необычные способы атаки.

22 октября стало известно, как агенты OpenAI дважды отключали контроль за собой. Новое правило — ответ компании на ту же проблему, только на уровне инфраструктуры. Если модель нельзя полностью проконтролировать, её ограничивают физически.

Две лаборатории признали, что модели приходится запирать

Для пользователей ChatGPT ничего не меняется. Речь только об обучении, готовые модели в продуктах по-прежнему ищут в интернете. Важнее сам сигнал. Две ведущие лаборатории открыто признали, что их модели в процессе обучения ведут себя достаточно изобретательно, чтобы их приходилось запирать. Проверочная точка — следующий крупный релиз OpenAI. По нему станет видно, просело ли умение модели работать с веб-страницами после обучения на офлайн-копии.