FreeVideo запускает видеомодель MiniMax H3 на видеокарте с 8 ГБ памяти

2 октября команда FlashML выложила на GitHub FreeVideo, локальный движок для видеомодели MiniMax H3. Проект рассчитан на обычные игровые видеокарты NVIDIA, от серии RTX 30 и новее, а минимальная конфигурация по заявлению авторов — 8 ГБ видеопамяти и 16 ГБ оперативной. Код бесплатный и распространяется под открытой лицензией Apache 2.0.

MiniMax H3 не помещается в игровую видеокарту

MiniMax выпустила H3 в конце июля, а в начале августа открыла её веса. Модель генерирует видео сразу со звуком, и стереодорожка с речью, музыкой и шумами создаётся за тот же проход, что и картинка. Базовое разрешение 768p, отдельный модуль поднимает его до 2K.

Внутри H3 33,1 млрд параметров, полная версия весит 61,7 ГБ. У массовых игровых видеокарт 8–16 ГБ памяти, у флагманской RTX 5090 их 32 ГБ. Запустить такую модель дома без специальных ухищрений нельзя, и FreeVideo как раз набор этих ухищрений.

VDN-H3 сокращает расчёты в несколько раз

Основа FreeVideo — VDN-H3, ускоренная версия MiniMax H3 от исследовательской группы OpenVDN, вышедшая 6 сентября. Ускорение складывается из двух приёмов.

• Восемь шагов генерации. Модель прошла дистилляцию, то есть дообучение, после которого она собирает ролик за 8 итераций вместо нескольких десятков.
• Гибридное внимание Video DeltaNet. Внимание — механизм, которым модель сопоставляет фрагменты кадров друг с другом, и в видео это самая дорогая часть расчётов. VDN-H3 оставляет классическую схему для ближних деталей, а связи на длинной дистанции считает упрощённым и намного более дешёвым способом.

На кластере из восьми ускорителей NVIDIA B200 VDN-H3 создаёт 14-секундный ролик примерно за 9 секунд, быстрее, чем он проигрывается. Авторы Video DeltaNet целятся в генерацию видео «в прямом эфире». FreeVideo берёт ту же модель и пытается уместить её в домашний системный блок.

FreeVideo раскладывает модель между видеокартой, памятью и диском

Перед каждым запросом FreeVideo заново измеряет свободную видеопамять и оперативную память и строит план запуска. Модель состоит из 50 крупных блоков. Сколько поместится, остаётся на видеокарте, остальные лежат в оперативной памяти и на каждом шаге копируются в видеокарту. Если не хватает и оперативной, часть блоков на каждом шаге заново читается с диска.

Под каждое поколение видеокарт движок выбирает свой режим вычислений в формате FP8 (сжатое представление чисел, которое экономит память) и сам перебирает доступные ускоренные реализации внимания. Текстовый энкодер, который переводит промпт в понятный модели вид, работает в отдельном процессе и выгружается до загрузки основной модели. При нехватке памяти FreeVideo до двух раз перезапускает генерацию с более лёгкой раскладкой.

У такой компактности есть цена. Каждый блок, который не уместился в видеокарту, на каждом шаге гоняется по шине туда и обратно, и чем меньше видеопамяти, тем дольше ждать.

Десять секунд видео за две минуты на RTX 5090

Авторы FreeVideo опубликовали замеры на Windows для 10-секундного ролика в разрешении 1344×768 с двухпроходной генерацией:

• RTX 5090 (32 ГБ видеопамяти, 64 ГБ оперативной) — 122 секунды;
• RTX 5060 Ti (16 ГБ и 32 ГБ) — 486 секунд, около восьми минут;
• RTX 4060 Ti (16 ГБ и 32 ГБ) — 558 секунд, чуть больше девяти минут.

Для минимальной конфигурации с 8 ГБ времени генерации в документации нет. Там с диска и из оперативной памяти подгружается больше блоков, так что ждать придётся заметно дольше, чем на 16-гигабайтных картах. Замеров на ноутбуках авторы тоже не приводят, хотя мобильные видеокарты с 8 ГБ формально проходят по требованиям. Видеокарты AMD и Intel, а также компьютеры Apple в FreeVideo не поддерживаются, пакеты моделей собраны только под NVIDIA RTX 30/40 и RTX 50.

FreeVideo встраивается в ComfyUI

ComfyUI — бесплатная графическая среда, где генерацию собирают из блоков-узлов, как схему. FreeVideo добавляет в неё собственное рабочее пространство, и узлы можно вообще не трогать.

• Входные данные — текстовый промпт, первый и последний кадр ролика, референсы в виде картинок, видео и аудио.
• Двухпроходная генерация — сначала черновик в половинном разрешении, затем полноценный проход.
• Пакетный режим и история — несколько вариантов за раз и архив прошлых генераций.
• LoRA — небольшие дообученные надстройки от сообщества, которые меняют стиль или закрепляют персонажа. Их подключают в узловом режиме.

Перед запуском FreeVideo показывает прогноз по времени и памяти. Прогноз уточняется по истории уже выполненных генераций на конкретном компьютере.

Три способа поставить FreeVideo

Проще всего на Windows. Файл FreeVideo.exe из раздела релизов на GitHub сам ставит ComfyUI, рабочее окружение и модели. Если ComfyUI и модели уже скачаны, установщик подхватит их. Есть офлайн-вариант, когда пакеты скачиваются заранее и перетаскиваются в окно установщика. Сборка для Windows пока имеет статус предварительной.

Тем, у кого ComfyUI уже стоит, FreeVideo доступен как дополнение: его клонируют в папку custom_nodes и открывают шаблон FreeVideo-All-in-One. На Linux есть скрипт установки и генерация из командной строки. Адрес проекта — github.com/FlashML-org/FreeVideo.

Код FreeVideo открыт без ограничений, а веса модели идут под лицензией MiniMax H3 Community License. Она запрещает использование в Евросоюзе, Великобритании, Южной Корее и США и содержит список недопустимых сценариев, поэтому перед коммерческими проектами её стоит прочитать целиком.

Проект совсем свежий. Только за 3 октября в репозиторий FreeVideo влили около двадцати исправлений, в основном про нехватку памяти на Windows и обрывы загрузок, так что шероховатости на старте вероятны. Начинать разумно с коротких роликов в небольшом разрешении и сверяться с прогнозом времени до запуска.

Восемь гигабайт открывают дверь, шестнадцать дают работать

FreeVideo переносит MiniMax H3 из облака на домашний компьютер. Ролики со звуком генерируются без оплаты за каждую попытку, а исходники никуда не уходят. Минимальные 8 ГБ позволяют модель запустить, но рабочий темп начинается с 16 ГБ, и даже там 10 секунд видео занимают восемь-девять минут. Проверочная точка — выход Windows-сборки из предварительного статуса и замеры для 8-гигабайтных карт, которые авторы пока не показали.