Krea AI открыла исходный код Krea Realtime - модель для генерации видео в реальном времени

Компания Krea AI сделала серьёзный шаг в развитии технологий искусственного интеллекта, выпустив модель Krea Realtime - первый крупный открытый инструмент, способный создавать видео в реальном времени. С 14 миллиардами параметров, эта система стала крупнейшей среди всех доступных моделей подобного типа.

Модель уже выложена на платформе Hugging Face под лицензией Apache-2.0, что означает полную открытость для изучения, модификации и внедрения. Для исследовательского и разработческого сообщества это важный шаг к демократизации технологий генерации видео.

Генерация видео без задержки

Krea Realtime создаёт ролики с частотой 11 кадров в секунду на одном GPU NVIDIA B200 - показатель, который ранее был достижим только для закрытых промышленных моделей. Разработчики утверждают, что добились такой скорости благодаря инновационной технологии Self-Forcing, превращающей традиционные диффузионные модели в autoregressive-системы, способные работать в реальном времени.

Это решение делает Krea Realtime особенно ценной для приложений, требующих мгновенной генерации от видеоредакторов и стриминговых платформ до инструментов дополненной реальности.

Технологические инновации

Согласно опубликованному техническому отчёту, модель была дистиллирована из Wan 2.1 14B с помощью метода Self-Forcing. Такой подход позволил значительно сократить количество шагов инференции до четырёх на один кадр без потери качества. В результате производительность выросла почти в три раза по сравнению с предыдущими версиями.

По словам команды Krea, основная цель проекта - сделать высокопроизводительные видеомодели доступными для разработчиков, не имеющих доступ к суперкомпьютерам. При этом Krea Realtime показывает стабильную работу даже на относительно доступных GPU, что открывает путь для использования в образовательных и творческих проектах.

Открытый код и новые возможности

Открытый исходный код под лицензией Apache-2.0 позволяет не только использовать, но и дорабатывать модель. Это создаёт условия для развития целой экосистемы на базе Krea Realtime - от анимации статических изображений до генерации коротких клипов и дополнения существующих видео.

«Мы верим, что генерация видео в реальном времени должна быть доступна каждому, кто хочет создавать», 

- заявили в Krea AI.

Эксперты отмечают, что появление Krea Realtime может стать переломным моментом: ранее открытые видеомодели значительно уступали закрытым решениям по скорости и качеству. Теперь баланс начинает меняться.

Потенциал применения

Модель может использоваться в самых разных сферах:

• создание динамичного контента для социальных сетей;
• анимация статичных изображений и фотографий;
• добавление новых сцен или деталей к уже готовым роликам;
• разработка интерактивных и обучающих систем, использующих видеогенерацию.

Таким образом, релиз Krea Realtime - это не просто новая модель, а шаг к созданию открытого стандарта генерации видео в реальном времени.