DeepSeek открыла код движка, на котором работают её чат-бот и API

DeepInfer — программа, которая запускает уже обученную модель DeepSeek и раздаёт её ответы миллионам пользователей. Такую работу называют  инференсом . От движка зависит, сколько видеокарт уйдёт на один запрос и сколько в итоге стоит ответ. Раньше DeepSeek держала этот слой закрытым, теперь его может скачать и собрать любой.

155 трлн токенов в сутки

DeepSeek раскрыла масштаб, на котором движок работает в бою. Один кластер DeepInfer обрабатывает 155 трлн токенов в сутки. Токен — кусочек слова, в которых модель считает текст. Выручка в ночные часы, когда DeepSeek продаёт доступ к API со скидкой, составляет 38 долларов за час работы одной видеокарты.

Задачу движка компания формулирует в документации к релизу так:

«Обслуживать больше запросов, тратя меньше вычислений и энергии, чтобы умные сервисы доходили до большего числа пользователей по более низкой цене»,

- пишет DeepSeek.

Все цифры производительности DeepSeek приводит сама, независимых замеров пока нет.

Как DeepSeek ускоряет ответы модели

Главный приём DeepInfer называется DSpark. Небольшая черновая модель заранее угадывает пять следующих токенов, а основная модель только проверяет догадки. Отдельный блок оценивает, какие из них основная модель скорее всего примет. Так проверок становится на 30% меньше. По оценке DeepSeek, при её реальной нагрузке это даёт прирост пропускной способности на 4–7%.

Второй приём касается обработки входящего запроса. Через часть слоёв модели DeepInfer прогоняет только последние 128 токенов каждого запроса. По словам DeepSeek, объём вычислений на этом этапе сокращается почти вдвое.

Для разработчиков в DeepInfer есть ещё несколько функций. На NVIDIA движок выдаёт одинаковый ответ, с какими бы чужими запросами он ни обрабатывался в одной пачке. Модель может отвечать строго в заданном формате, например в JSON. Вместе с движком вышла библиотека deepseek-recipe под лицензией MIT. Она переводит запросы в токены так же, как официальный API DeepSeek.

За основу DeepSeek взяла популярный открытый движок vLLM, часть идей позаимствовала у SGLang и TensorRT-LLM. Вычислительные ядра FlashMLA, DeepGEMM и DeepEP компания открыла ещё раньше, теперь они собраны в рабочую систему.

NVIDIA Blackwell и Huawei Ascend 950

DeepInfer поддерживает две платформы. Первая — видеокарты NVIDIA поколения Blackwell. Более старые Hopper, на которых построено большинство нынешних дата-центров, не подходят. Вторая платформа — китайские ускорители Huawei Ascend 950.

Для DeepSeek вторая строчка важнее первой. В конце сентября компания вместе с Huawei перенесла на чипы Ascend свой язык для вычислительных ядер TileLang. По данным Bloomberg, DeepSeek собирается поставить не меньше 160 тысяч ускорителей Ascend 950DT в новом дата-центре во Внутренней Монголии. Все опубликованные замеры при этом сделаны на NVIDIA, и как движок ведёт себя на Huawei, пока не показано.

Что DeepSeek оставила закрытым

Открытый DeepInfer умеет обрабатывать запросы пачками в офлайн-режиме. Для полноценного онлайн-сервиса в нём не хватает трёх частей:

• Система кэша. Она хранит уже обработанный текст, чтобы при повторном запросе не считать его заново. Именно на ней держатся дешёвые ответы API DeepSeek при попадании в кэш.
• Разделение этапов. Чтение запроса и генерацию ответа в продакшене выполняют разные группы машин.
• Балансировка нагрузки. Распределение запросов между копиями модели.

DeepSeek объясняет, что эти части слишком тесно связаны с её внутренней инфраструктурой. Устройство кэша и балансировки компания описала в блоге на Zhihu, но код не выложила. Для разделения этапов большая часть нужной работы в движке уже есть, собирать остальное придётся самим.

Порог входа у DeepInfer высокий. Самая маленькая эффективная конфигурация, которую описывает DeepSeek, — 64 видеокарты на чтение запросов и ещё 64 на генерацию.

Полтора года назад DeepSeek отказывалась

В апреле 2025 года DeepSeek уже обсуждала открытие своего движка и решила не выкладывать его целиком. Тогда компания называла его ранним ответвлением vLLM, слишком завязанным на внутренние кластеры, и ссылалась на нехватку людей для поддержки крупного открытого проекта. Вместо движка она выпустила отдельные библиотеки.

Теперь DeepSeek обещает добавлять в DeepInfer код для запуска своих будущих моделей. За первые сутки репозиторий собрал больше 12 тысяч звёзд на GitHub.

Кому пригодится DeepInfer

Запустить DeepInfer на домашнем компьютере или одном сервере не получится. Движок нужен облачным провайдерам и крупным компаниям, которые держат DeepSeek-V4.1-Flash на своих кластерах. Обычный пользователь почувствует релиз косвенно. Если сторонние площадки перейдут на движок DeepSeek, доступ к её моделям у них может подешеветь и ускориться.

Для разработчиков инфраструктуры DeepInfer — редкий случай, когда крупная лаборатория показывает рабочий код, а не схему из статьи. Самое ценное DeepSeek всё же оставила себе. Двигатель открыт, а система кэша, на которой держится низкая цена её API, по-прежнему работает только у неё.