ByteDance выпустила Seedream 5.5 и показала 100 правок одного изображения

Seedream 5.5 вышла 9 ноября. В новой версии команда Seed сосредоточилась на работе с уже собранным кадром. Если композиция устраивает, можно заменить одежду или предмет на столе и сохранить детали, которых правка не касается.

Сто правок одного портрета

В демонстрации ByteDance команда меняла одежду, очки, украшения и предметы на столе. Каждая из 100 правок начиналась с результата предыдущей. Даже к концу серии модель могла менять мелкие детали, например кольцо или оправу очков, с учётом позы человека и освещения.

В длинной цепочке небольшие изменения цвета и резкости могут накапливаться. Чтобы сократить этот эффект, разработчики обучили Seedream 5.5 сохранять пиксели за пределами области правки. Для карточки товара это даёт понятный сценарий. Один кадр можно использовать как основу для нескольких вариантов оформления, меняя детали вокруг товара.

Прозрачные объекты для макетов

Seedream 5.5 генерирует изображения в RGBA. Альфа-канал задаёт степень прозрачности каждого пикселя. Например, через полупрозрачную ткань будет виден фон, на который её поместят. Такой объект можно сразу перенести в макет и разместить поверх другого изображения.

На странице модели ByteDance показывает, как выделить фламинго из готовой картинки и получить его отдельным прозрачным слоем. В другой демонстрации несколько готовых персонажей служат референсами для серии сцен. Модель меняет их позы и расположение в кадре, сохраняя характерные черты.

Мелкий текст и реалистичный свет

В примерах ByteDance модель набрала компактные колонки на англоязычной газетной полосе и мелкие китайские подписи к схеме бабочки. В тесте компании на китайском и английском доля серьёзных искажений текста составила 0,4%, мелких ошибок - 1,7%.

По данным ByteDance, в портретах стало меньше пересветов и чрезмерного блеска кожи. В примере с гоночным автомобилем мокрый асфальт и кузов по-разному отражают свет. В отдельной оценке эксперты чаще признавали изображения Seedream 5.5 пригодными к использованию, чем результаты Seedream 5.0 Pro. Доля таких изображений выросла во всех шести сценариях. В задачах для кино и телевидения, а также в офисных задачах она увеличилась более чем вдвое.

Где попробовать Seedream 5.5

ByteDance начала постепенно открывать модель в китайских сервисах Jimeng и Doubao, а также в центре тестирования Volcengine Ark. В международной Dreamina модель называется Image 5.5 by Seedream 5.5. Её наличие в меню и параметры экспорта зависят от аккаунта. Версию Seedream 5.5 Pro компания планирует выпустить отдельно.