MiniMax открыла веса H3-Image для генерации 4K

В демонстрации MiniMax пустую комнату и девять изображений мебели подают в один запрос. H3-Image собирает из них интерьер, размещая предметы в общей сцене. Для генерации по тексту и для такой правки используется один набор весов, который компания выложила 10 ноября.

Крупный кадр за шесть шагов

Модель выдаёт 4096 × 4096 пикселей для квадрата и 5472 × 3072 для формата 16:9. Она создаёт изображение в нужном разрешении сразу. На каждый результат приходится шесть шагов генерации, но на скорость и расход памяти также влияют разрешение и число входных картинок.

Для правок можно приложить до 16 изображений. В запросе их указывают по порядку, например <Picture 1> для исходной сцены и <Picture 2> для предмета, который нужно перенести. MiniMax рекомендует описывать весь желаемый кадр. При замене сумки на предметной фотографии можно уточнить её положение, а затем отдельно описать свет и фон, которые должны сохраниться.

Локальный запуск и облако

В ComfyUI есть два способа работы. Нативная схема запускает модель на своей видеокарте и показывает все входы в графе. Partner Nodes отправляют задачу в облачный API. У MiniMax также есть собственные API для генерации и правок, а попробовать модель через веб можно в Hailuo. Доступ к облаку зависит от условий конкретного сервиса.

Диффузионный трансформер содержит 33,1 млрд параметров. Для локального запуска потребуется отдельно загрузить веса и другие компоненты. Прежде чем выбирать видеокарту или арендовать сервер, полезно оценить память под нужный размер кадра и число референсов. Пример готового графа в ComfyUI даёт точку отсчёта для такого замера.

Что разрешает лицензия

MiniMax опубликовала веса по собственной Community License. Её действие исключает США, Евросоюз, Великобританию и Южную Корею. Отдельное письменное разрешение нужно при годовой выручке свыше $1 млн с учётом аффилированных лиц или если компания предоставляет размещённый сервис третьим лицам. Для личной работы над иллюстрациями главный практический вопрос связан с оборудованием. Для запуска генератора для клиентов первым шагом становится проверка условий лицензии.