Сбер открыл Kandinsky Avatar для говорящих видео по фото

Kandinsky Avatar подстраивает движения персонажа под готовую речь. Изображение задаёт внешность и сцену, аудиозапись управляет артикуляцией, текстовое описание помогает выбрать поведение и эмоции. Голос нужно подготовить отдельно. Сама модель звук не создаёт.

Один портрет вместо съёмки ведущего

Автору видеоурока достаточно передать Kandinsky Avatar изображение преподавателя и запись объяснения. Модель добавит движения губ, мимику, повороты головы и жесты. По такому же принципу можно делать видеоинструкции для сайта или обращения к клиентам. Переснимать ведущего для каждого текста не потребуется.

Текстовый запрос описывает, как персонаж ведёт себя в кадре. Например, ему можно задать радостную или грустную манеру говорить. Запросы поддерживаются на русском и английском. Среди демонстраций команды есть также говорящие животные и нарисованные герои, поэтому фотография человека не является обязательным условием.

Для ролика на другом языке сначала понадобится новая озвучка. Модель синхронизирует изображение с переданной записью, перевод речи и создание голоса остаются отдельными задачами. Для автора курса это возможность сохранить одного виртуального ведущего в разных языковых версиях урока.

Pro для HD, Lite для SD

Семейство Kandinsky Avatar построено на Kandinsky 5.0 Video. Старшая Pro содержит 21 млрд параметров и поддерживает HD. У Lite 2 млрд параметров, она рассчитана на SD. В репозиториях и исследовании обе модели называются Kandinsky S2V 1.0.

Сбер заявляет ролики продолжительностью до минуты. Модель генерирует длинную запись последовательными пятисекундными отрезками. Информация о предыдущих кадрах передаётся следующему отрезку, чтобы сохранять внешность героя и обстановку.

Для обучения команда собрала 1,17 млн фрагментов с одним говорящим. По данным Сбера, набор охватывает 95 языков. Около четверти записей содержат русскую речь. Это характеристика обучающих данных, качество конкретного языка нужно оценивать отдельно.

С HeyGen сравнили по отдельным признакам

Сбер ставит Kandinsky Avatar Pro на один уровень с HeyGen Avatar IV. Команда проверяла модели в слепом сравнении. Им давали одинаковые изображение и речь, затем оценщики смотрели два результата без названий моделей. Движения губ, естественность анимации и сохранение внешности оценивались отдельно.

На многоязычной выборке Pro чаще предпочитали по синхронизации речи и генерации рук. HeyGen лучше оценили по визуальному качеству, естественности движений и сохранению внешности. Поэтому за общей оценкой сопоставимого качества скрываются разные сильные стороны. Для ведущего крупным планом сохранение лица может оказаться важнее жестов.

Lite команда также сравнила с открытой LongCat 1.5. На русскоязычной выборке компактная модель получила лучшие оценки за синхронизацию речи и изображение рта, но уступила по визуальному качеству. Все эти сравнения провели сами разработчики Kandinsky.

Маленькая Lite требует много памяти

Для опубликованной реализации Kandinsky S2V разработчики указывают видеокарту NVIDIA с памятью от 48 ГБ, а для HD рекомендуют 80 ГБ. Отдельная настройка обработки видео снижает пиковый расход примерно до 28 ГБ. За это приходится платить возможными заметными швами на изображении.

Причина в составе всей системы. Кроме генератора Lite, она загружает компоненты обработки речи и текста, а затем превращает внутреннее представление в готовые кадры. Размер в 2 млрд параметров относится к основному генератору. По нему нельзя судить о памяти, которая понадобится для всей работы.

Поэтому обещание запуска на домашней видеокарте пока требует уточнения конфигурации. Наличие NVIDIA само по себе не гарантирует, что опубликованный вариант поместится в её память. Перед загрузкой весов стоит сопоставить требования выбранной реализации со своей картой.

Открытая модель для своего видеосервиса

Код Kandinsky Avatar и опубликованные модели доступны под MIT. Лицензия разрешает коммерческое применение, поэтому разработчик может встроить генерацию в образовательную платформу или сервис видеоинструкций. Кроме базовых моделей, команда выпустила ускоренные версии и интеграцию с Diffusers.

Для автора курса уже понятен сценарий с заранее подготовленными уроками. С виртуальным консультантом, который отвечает клиенту в ходе разговора, вопрос сложнее. Такому сервису потребуется ещё создавать ответ и озвучивать его, а затем достаточно быстро генерировать видео. Открытые веса дают разработчику основу, но скорость всей этой цепочки придётся оценивать отдельно.