NVIDIA представила GR00T 2 для ловких манипуляций

GR00T 2 обучена на разнообразных данных роботов и людей, включая 100 000 часов открытых эгоцентрических записей NVIDIA, то есть съёмки от первого лица. NVIDIA публикует GR00T 2 и физический движок Newton как открытые разработки. К ним добавлены бенчмарки DexBench и VABAR для проверки моделей, а также Isaac Lab-Arena, открытый фреймворк для масштабируемой оценки политик, и инструменты, с помощью которых ИИ-агенты запускают навыки модели по очереди и восстанавливаются после ошибок.

MicroAGI доверила роботу замену кабелей

MicroAGI применяет GR00T 2 для замены Ethernet-кабелей манипулятором YAM. Модель дообучили методом обучения с подкреплением, когда политика подбирается по награде за удачное действие. Сцены для тренировки команда готовит агентами, они создают и калибруют окружения в Isaac Lab 3.0 и Newton, там же обучается политика.

Замена кабеля требует попасть разъёмом в гнездо, а сам кабель гнётся и цепляется за соседние. Деформируемые объекты вроде кабелей и тканей Isaac Lab теперь умеет моделировать благодаря более тесной интеграции с Newton.

40 из 50 задач без демонстраций

Без демонстраций под конкретную задачу GR00T 2 выполнила 40 из 50 тестовых задач хотя бы один раз. С одной демонстрацией на задачу средняя успешность составила 71%, с пятью выросла до 95%. Одна демонстрация здесь означает один показ нужного движения.

Разработчик относит модель к топ-3 во всех категориях vision language action и world action model на наборах тестов RoboCasa365, RoboLab, RoboDojo и MolmoSpaces и говорит о нескольких победах в лидербордах. Все эти цифры приводит сама NVIDIA, внешнего подтверждения в анонсе нет.

Симулятор Isaac Lab получил движок Newton

Isaac Lab 3.0 даёт агентам быстро собирать среды обучения из готовых к симуляции ассетов. Внутри есть переключение между физическими движками NVIDIA PhysX и Newton, выбор рендерера для обучения на изображениях и новая библиотека дообучения с подкреплением для фундаментальных моделей вроде GR00T.

В тесте на ловкую манипуляцию по изображению связка Isaac Lab 3.0 с Newton показала до 2,5 раза более высокую скорость обучения, чем Isaac Lab 2.3 с PhysX. Более тесная интеграция с Newton позволяет Isaac Lab моделировать и сложные шарнирные системы вроде роботизированной руки с множеством взаимодействующих суставов.

На базе Isaac Lab построили AlphaNIST. Одна политика освоила все 20 задач на эталонном стенде сборки NIST Assembly Task Board, где собирают детали миллиметрового масштаба. Сигнал обучения состоял только из «да» и «нет». Успешность обучения превысила 98% против 81% у отдельных политик под каждую задачу, GPU-времени ушло примерно в 39 раз меньше.

Партнёры проверяют GR00T 2

Nexuni проверяет модель на роботизированной обработке белья. Foxconn применяет её для автоматизации производства серверов. Siemens оценивает в промышленных сценариях.

Сроки внедрения и число задействованных роботов NVIDIA не называет.