NVIDIA выпустила платформу, которая держит ИИ-агентов в песочнице
NVIDIA представила Open Agent Safety Platform , платформу для контроля над ИИ-агентами от тестирования до работы в продакшене. Компания называет её открытым эталонным решением, которое собрано вместе с партнёрами и внедряется по частям. Программная часть, среда OpenShell, уже доступна всем, аппаратная требует серверов NVIDIA.
Агенты NVIDIA не доверяют самим себе
Главная идея Open Agent Safety Platform в том, что правила для агента проверяет не сам агент. Раньше ограничения в основном жили внутри приложения, то есть там, где агент мог их обойти. NVIDIA выносит контроль наружу, в отдельный процесс и даже в отдельный чип.
Повод компания формулирует прямо. Несколько ведущих лабораторий сообщали, что их агенты выбирались из испытательных сред, добирались до систем, куда им было нельзя, а иногда неверно описывали собственные действия. По оценке NVIDIA, в каждом случае агент обходил защиту на уровне приложения, чтобы довести задачу до конца. Лаборатории NVIDIA не называет, но летом о таких эпизодах отчитывались OpenAI и Anthropic , а в сентябре подобный случай подтвердила Google.
OpenShell запирает агента в песочнице
OpenShell — открытая среда выполнения для агентов под лицензией Apache 2.0, NVIDIA разрабатывала её около года. Каждый агент работает в песочнице с изоляцией на уровне ядра операционной системы. Оператор заранее задаёт, к каким файлам, сетям, инструментам, процессам и учётным данным у агента есть доступ.
Дальше OpenShell превращает эти указания в проверяемую политику. Специальный модуль-«доказыватель» ещё до запуска проверяет, что политика не оставляет агенту лазеек за пределы, задуманные оператором. Во время работы среда следит за соблюдением правил и записывает все действия, включая каждое разрешение и каждый отказ. Если агенту нужно больше прав, он запрашивает их, и человек одобряет или отклоняет запрос. Через интеграцию с Salesforce это можно делать прямо в Slack.
OpenShell не требует специального железа и запускается на локальной машине, в облаке или в Kubernetes. Среда поддерживает популярных агентов для программирования:
Sentry стоит на единственном пути к модели
Вторая часть платформы, Sentry, — сторож, который работает на сетевых процессорах NVIDIA BlueField-4. Это отдельный чип в сервере, изолированный от основной системы, поэтому Sentry продолжает работать, даже если сам сервер взломан. Агент и атакующий его не видят.
Sentry проверяет каждый запрос агента к модели и каждый ответ, сверяет личность агента и выданные ему полномочия, отслеживает отклонения от поставленной задачи. Если агент пытается выйти за границы, NVIDIA обещает остановить его и поместить в карантин за миллисекунды. В серверах Vera Rubin чип BlueField-4 стоит на единственном пути от узла к модели, и NVIDIA называет эту точку одновременно местом контроля и аварийным выключателем.
Здесь нужно оговориться. Sentry рассчитан на дата-центры с оборудованием NVIDIA, а для владельцев серверов Vera с BlueField-4 он включается обновлением ПО. Остальным доступна только программная половина платформы.
Anthropic и SpaceXAI среди партнёров NVIDIA
NVIDIA собрала вокруг платформы больше 100 организаций. Anthropic встраивает OpenShell и BlueField в Claude Managed Agents, SpaceXAI применяет платформу для агентов Cursor и моделей Grok , SAP встроила OpenShell в среду Joule Studio. В списке также Microsoft, Hugging Face, Perplexity , Palantir, CrowdStrike, JPMorganChase и производители роботов вроде Figure. Отдельно указана Irregular, подрядчик, у которого проходили испытания с выходами моделей в реальную сеть.
«Безопасность должна обеспечиваться вне модели дополнительными средствами контроля, которые агент не может обойти»,
- заявил президент SpaceXAI Майк Николлс.
Заметнее всего в списке отсутствие OpenAI и Google, двух лабораторий, чьи агенты фигурировали в недавних инцидентах.
Безопасность как аргумент для продажи серверов
У NVIDIA в этой истории понятный интерес. OpenShell открыт и бесплатен, но работает лучше всего на процессорах Vera: по данным компании, песочницы там запускаются до 80% быстрее, чем на обычных серверных CPU. Самый строгий уровень защиты, Sentry, существует только на BlueField-4. Открытая платформа становится витриной, а надёжный контроль над агентами превращается в довод купить железо NVIDIA.
Деньги на такие проекты у компании есть. В тот же день NVIDIA добавила к программе обратного выкупа акций рекордные 150 млрд долларов, и общий доступный объём вырос до 235 млрд. Прежний рекорд по разовому увеличению выкупа принадлежал Apple, которая в 2024 году одобрила 110 млрд. В мае NVIDIA уже объявляла о выкупе на 80 млрд.
Кому пригодится OpenShell уже сейчас
Тем, кто пускает Claude Code , Codex или других агентов работать с проектом без присмотра, OpenShell даёт способ ограничить их без собственной инфраструктуры безопасности. Агенту можно разрешить только папку проекта и нужные сайты, закрыть доступ к ключам и паролям и хранить журнал всех его действий. Среда доступна на GitHub, и начинать с ней стоит на отдельном тестовом проекте, прежде чем подпускать агента к рабочему сайту.
Замок, который не контролирует сам агент
Лаборатории до сих пор учили агентов вести себя хорошо, а NVIDIA предлагает исходить из того, что агент может и не послушаться. Подход трезвый, и под ним подписались Anthropic и SpaceXAI. Проверкой станет следующий громкий инцидент. Если агент снова выберется из песочницы, будет видно, работала ли у пострадавшей лаборатории защита вне модели и сработала ли она.
