NVIDIA Vera обещает больше агентов на ватт

Агент выполняет цепочку шагов. Он ищет информацию, обращается к базам данных, пишет и проверяет код, а потом что-то меняет в системе. Каждый шаг упирается в CPU, и вся задача постоянно переключается между рассуждением на GPU и исполнением на CPU.

NVIDIA строит на этом аргумент про ватты. Крупные вычислительные площадки под ИИ компания называет ИИ-фабриками и напоминает, что их мощность ограничена. Оператору приходится выбирать инфраструктуру, которая даёт максимум работы на каждый ватт.

Сравнение на дата-центре в 100 МВт

Конкретные цифры зависят от базы сравнения. Против самого быстрого x86 процессор Vera обещает в 1,6 раза больше агентов на ватт. Против самого экономичного x86 он даёт вдвое более высокую скорость агентов при лучшей энергоэффективности. Это два разных оппонента, поэтому 1,6 и 2 нельзя складывать в одно преимущество.

Цена Vera не названа, так что заявленное превосходство пока держится на данных NVIDIA и её партнёров.

Perplexity и DeepInfra ускорили агентов

Perplexity прогнала агентские задачи по кодированию на Vera и получила результат в 1,5 раза быстрее, чем на традиционных CPU. Развёртывание ещё впереди, компания планирует поставить Vera в будущую рабочую систему.

DeepInfra на своей рабочей агентской нагрузке показала скорость до 2,2 раза выше, чем у лучшего x86-процессора, в агентской оркестрации. Оркестрацией называют распределение шагов агента между исполнителями, и замер шёл именно на этой части работы. Из четырёх проверенных архитектур Vera показала самый быстрый результат.

Песочницы и базы данных на Vera

Для инфраструктурных сценариев NVIDIA приводит результаты партнёрских тестов и ранних внедрений. Песочницей называют изолированную среду, где агент запускает код без риска для основной системы. Daytona и Modal проверили на Vera такие песочницы, ClickHouse и DuckLabs гоняли тесты баз данных.

• Daytona подняла 1000 агентских песочниц за 10,8 секунды и выдала 12,7 завершённых задач в секунду при 2000 одновременных песочницах. На x86 запуск тысячи песочниц занял 88,4 секунды.
• Modal получила до двукратной пропускной способности песочниц на ядро относительно сопоставимого x86-оборудования. Под высокой нагрузкой разрыв растёт.
• ClickHouse показала почти линейное масштабирование стандартной сборки без доработок под Vera на 176 ядрах и возглавила аппаратный рейтинг ClickBench.
• DuckLabs достигла примерно 1,5-кратной медианной производительности в тесте TPC-H SF1000 относительно базового Intel Xeon 6.

TPC-H проверяет аналитические запросы к базе данных, ClickBench служит открытым набором замеров для систем управления базами данных.