Google показала Genie 4 — миры со звуком, которые меняются по текстовой команде

Genie 4 относится к моделям мира. Обычный видеогенератор выдаёт готовый ролик, который можно только посмотреть. Модель мира рисует сцену кадр за кадром в ответ на действия пользователя и достраивает то, что должно появиться за поворотом. Google DeepMind называет четвёртую версию самой фотореалистичной и интерактивной из своих моделей мира.

В Genie 4 дождь начинается по команде

Главный трюк Genie 4 в правках на лету. Пользователь гуляет по миру с клавиатуры и в любой момент пишет, что поменять. Например:

Пусть пойдёт дождь, подними камеру выше и добавь прохожего на мосту.

Мир меняется и продолжает жить между командами. Каждую такую просьбу Gemini подгоняет под происходящее в сцене, чтобы правка не выглядела вклеенной.

Вместе с картинкой Genie 4 генерирует звук. Фоновый шум соответствует месту действия, играет музыка, персонажи разговаривают и отвечают по ситуации. По словам DeepMind, это её первая модель мира в реальном времени, которая создаёт звук сама.

Две минуты связной сцены и Gemini в роли режиссёра

По данным TechCrunch, Genie 4 удерживает сцену согласованной до двух минут. Это вдвое дольше, чем у Genie 3, которая вышла чуть больше года назад. DeepMind отдельно говорит о более реалистичной физике, например аэродинамике и столкновениях, и о естественных движениях персонажей.

Для сложных сюжетов к Genie 4 подключается Gemini. Он работает как режиссёр:

• План → разбивает цель на шаги
• Проверка → смотрит по кадрам, получился ли каждый шаг
• Поправка → меняет план, если мир или пользователь повели сюжет в сторону

Разрешение, частоту кадров и задержку отклика Google не раскрывает. Это заметный пробел для модели, которую подают как работающую в реальном времени.

Genie 4 для кино, игр и тренировки роботов

Тестировщики пробуют Genie 4 для предпросмотра сцен в кино. Режиссёр может прогнать несколько дублей в реальном времени, не выезжая на площадку. Другие сценарии связаны с прототипами игр по текстовому описанию и с архивными снимками, когда одна фотография превращается в пространство, по которому можно пройтись.

Самый практичный эксперимент DeepMind провела с роботом. Gemini разбивал на шаги задачу для гуманоида Apollo от Apptronik, который играет в шашки, а Genie 4 проигрывал эти шаги в реальном времени. Так поведение робота можно отрепетировать в симуляции, прежде чем выпускать его в реальный мир.

Кто и когда получит Genie 4

Сейчас Genie 4 работает в режиме исследовательского предварительного доступа для доверенных тестировщиков. В ближайшие недели модель появится у подписчиков Google AI Ultra в Project Genie, сервисе Google для создания интерактивных миров по тексту или картинке. Партнёры раннего доступа получат её в Gemini API и Google AI Studio. Для остальных открыт лист ожидания, цены и даты широкого запуска нет.

Для читателя из России Genie 4 пока остаётся витриной. AI Ultra самая дорогая подписка Google и оплачивается зарубежной картой, а Project Genie при запуске открывали только подписчикам из США.

Где Genie 4 пока ошибается

DeepMind сама перечисляет слабые места Genie 4. Детали и предметы плывут при долгих сессиях, после нескольких правок и при перемещении по сцене. Над точностью звука, читаемым текстом внутри мира и долгой согласованностью ещё идёт работа. Весь созданный видео- и аудиоконтент помечается невидимым водяным знаком SynthID.

Двух минут Genie 4 хватает для раскадровки, но мало для игры

Ниша плотная. Пару месяцев назад Runway выпустила играбельную модель мира GWM Worlds 2 со звуком. Две минуты связной сцены выглядят скромно рядом с часами обычной игры, но для раскадровки, прототипа уровня или репетиции робота их уже достаточно. Главной проверкой станет Project Genie, когда модель попадёт к обычным подписчикам Ultra и они увидят, насколько быстро мир реагирует на клавиши.