NVIDIA Isaac ROS 5.0 добавила агентные сценарии

Что вышло и где NVIDIA представила Isaac ROS 5.0 — набор пакетов с ускорением на GPU, построенных на базе ROS. Анонс сделали на конференции ROSCon в Торонто (Канада). Релиз бесплатный, с открытым исходным кодом, доступен уже сейчас; начать работу можно

Что вышло и где

NVIDIA представила Isaac ROS 5.0 — набор пакетов с ускорением на GPU, построенных на базе ROS. Анонс сделали на конференции ROSCon в Торонто (Канада). Релиз бесплатный, с открытым исходным кодом, доступен уже сейчас; начать работу можно на GitHub.

ROS — открытый фреймворк, проект организации Open Robotics, дающий разработчикам общие инструменты, библиотеки и стандарты для создания и связывания робототехнических приложений. Isaac ROS приносит в него ускоренные вычисления NVIDIA, модели физического ИИ (physical AI) и готовые к промышленному применению библиотеки. Аудитория — почти 1,3 млн пользователей ROS.

Агенты как соавторы кода

Главная содержательная новая часть — агентные сценарии работы (agentic workflows). ИИ-агенты уже меняют разработку софта: автоматизируют рутинные задачи, помогают разбираться в сложных кодовых базах и быстрее доводят идею до работающего приложения. Isaac ROS 5.0 переносит это в робототехнику.

В релизе появились новые навыки (skills) NVIDIA для настройки и манипуляции — переиспользуемые рабочие процессы, которыми могут пользоваться и разработчики, и ИИ-агенты. Документация приведена в вид, удобный для агентов: им проще понять инструменты и процессы Isaac ROS и быстрее превратить намерение разработчика в работающее приложение.

Часть навыков выходит за рамки помощи в отдельных задачах программирования. Навык тонкой настройки FoundationStereo позволяет агенту адаптировать стереомодель восприятия под конкретные камеры, окружение и приложение — чтобы точность соответствовала данной конфигурации сенсоров. FoundationPose — базовая модель для оценки и отслеживания позы объекта — получила готовую к работе с агентами библиотеку вывода (inference library): роботы определяют положение и ориентацию объектов до 5,5 раза быстрее. Кроме того, типовой процесс «взять и положить» (pick and place), связывающий детекцию, оценку глубины и вывод позы, теперь доступен как отдельный навык, готовый к использованию агентом, — это даёт разработчикам больше гибкости за пределами Isaac ROS.

Платформа и стандартный интерфейс

Isaac ROS 5.0 поддерживает ROS Lyrical и Ubuntu 24.04 — это путь к переходу на актуальную платформу ROS с сохранением ускорения тяжёлых робототехнических нагрузок на вычислениях NVIDIA. Совместно с Open Source Robotics Alliance компания передала в ROS Lyrical стандартный интерфейс обработки данных, который помогает робототехническому ПО эффективно работать на разном железе, включая GPU. Интерфейс доступен всему сообществу ROS и даёт единый способ ускорять требовательные приложения; CUDA выступает рабочим примером ускорения на GPU.

Кто уже встраивает Isaac ROS

AgenticROS — открытый проект при поддержке RealSense (технологии 3D-восприятия): связывает Isaac ROS с открытыми моделями NVIDIA Nemotron и шаблонами NVIDIA NemoClaw, чтобы ИИ-агенты взаимодействовали с роботами на базе ROS. RealSense также оптимизирует свои новые 3D-стереокамеры глубины с ИИ, включая RealSense D585 Pro, и открытый SDK под Isaac ROS и платформу периферийного ИИ NVIDIA Jetson Thor.
Intrinsic с решением Open Machine Tending Solution — референсным приложением для обслуживания станков с ЧПУ, частью выпущенного Intrinsic Core, открытого набора предварительно настроенных runtime-сервисов для промышленной робототехники. В него встроена совместимость с NVIDIA FoundationPose для распознавания, отслеживания и оценки позы объектов «из коробки»: роботы динамически определяют детали и работают с ними, снижая потребность в жёстких дорогих физических приспособлениях и специализированной интеграции.
Seeed Studio использует Isaac ROS с манипулятором reBot Arm, объединяя ускоренное восприятие, пространственное понимание и планирование движения на NVIDIA Jetson Thor.
Magna применяет Isaac ROS как модульную ускоряемую на GPU основу для восприятия, синхронизированного сбора данных и развёртывания модели NVIDIA Isaac GR00T, сочетая её с аппаратным тестированием в контуре (hardware-in-the-loop) в Isaac Sim.
Prefix.dev с инструментом управления пакетами Pixi упрощает создание воспроизводимых сред разработки роботов, сводя ROS с платформой NVIDIA CUDA.
Foxglove как партнёр Isaac ROS помогает визуализировать и отлаживать работающие ROS-приложения через веб- и десктоп-инструменты, интегрированные в учебные материалы Isaac ROS.
Flexiv встраивает Isaac ROS в адаптивного робота Rizon 4 — путь от тестирования в NVIDIA Isaac Sim до развёртывания на физическом роботе. Робот Flexiv, разработанный с Isaac ROS и Isaac Sim, развёрнут как сварочный манипулятор на автомобильном заводе.
Ekumen (компания Grid Dynamics) использует ускоряемые на GPU пакеты Isaac ROS внутри существующих стеков ROS и Nav2 для точной стыковки, 3D-обнаружения препятствий, визуальной локализации и планирования движения в реальном времени с проверкой каждого приложения в Isaac Sim. На GPU isaac_ros_cumotion строит свободный от столкновений путь для складского манипулятора примерно за 2–5 миллисекунд.
Ouster объединяет стереокамеры Stereolabs ZED с Isaac ROS для ускоренного восприятия, упрощая разработку детекции объектов, картографирования и навигации в реальном времени.

От разработки к роботу на площадке

Приложения в итоге должны работать на самом роботе. NVIDIA Jetson — масштабируемая вычислительная платформа для запуска стека физического ИИ на периферии с производительностью реального времени: ROS, ускоренное восприятие и навигация, ИИ-модели и логика приложения на борту. Isaac ROS 5.0 поддерживает вычисления от начального NVIDIA Jetson Orin Nano до высокопроизводительных Jetson Thor, давая путь от разработки к развёртыванию по мере усложнения нагрузок.

Mentee Robotics использует Isaac ROS как основу восприятия и ИИ для гуманоида MenteeBot: робот интерпретирует визуальную информацию и выполняет выученные поведения в реальном времени. Общая программная основа на Jetson Orin и Jetson Thor помогает переносить наработки на системы следующего поколения.
Universal Robots встроила Isaac ROS в свой SDK AI Accelerator, чтобы интеграторы быстрее развёртывали восприятие и управление движением, не разрабатывая сложное ПО с нуля. Решение на Jetson на периферии позволяет роботам подстраиваться под неточно позиционированные детали, снижая зависимость от дорогих приспособлений и делая производственные ячейки гибче.
ROBOTIS, создатель дружественного разработчикам TurtleBot3 на ROS, интегрирует Isaac ROS в своего робота AI Worker и применяет ускоренное восприятие объектов для задач манипуляции под управлением зрения: захват, размещение, выравнивание. Манипуляции выполняются с NVIDIA Isaac ROS CuMotion.
FieldAI встраивает Isaac ROS в свои базовые модели роботов на устройствах Jetson. Эти модели могут работать полностью на роботе, без опоры на облако, — интеграция нужна, чтобы лучше использовать ускорение GPU и повысить эффективность бортового стека ИИ.
Noble Machines применяет Isaac ROS на Jetson для ускорения разработки универсальных роботов промышленного назначения, опираясь на готовые возможности ИИ и восприятия, а не создавая их с нуля.