VOID

Удаление меняет движение сцены

Обычное заполнение области видео восстанавливает фон за удалённым предметом. VOID рассматривает более сложный случай, когда предмет влиял на происходящее. После удаления человека удерживаемая им вещь должна двигаться правдоподобно, а столкновение с исчезнувшим объектом должно перестать менять траекторию другого.

Проект создан исследователями Netflix и INSAIT Софийского университета. Это исследовательская система с кодом, весами и демонстрационными примерами. Авторы указывают принятие работы на ECCV 2026.

Какие взаимодействия учитываются

В демонстрациях есть падения, столкновения и деформация предметов под нагрузкой. Например, при удалении удерживающего человека система должна изменить дальнейшее движение предмета. Работа также рассматривает визуальные последствия присутствия объекта.

Результат является сгенерированным вариантом событий. Он показывает правдоподобный исход без выбранного предмета, но не восстанавливает единственную достоверную запись того, чего камера не снимала.

Объект выбирают в исходном видео

Локальный конвейер начинается с выбора точек на удаляемом объекте. Затем сегментация отслеживает область по кадрам. Модель, понимающая изображения и текст, помогает определить связанные участки сцены.

Такой ввод отличается от простого текстового пожелания. Для обработки нужны согласованные видео и маска, чтобы системе было понятно, что удалять и какие области разрешено перестроить.

Четыре области маски

Quadmask разделяет кадр на удаляемый объект, область затронутых взаимодействий, их пересечение и сохраняемый фон. Эта разметка направляет генерацию. Часть изображения вне маски получает иную роль, чем участок, где нужно изменить движение.

Ошибочная зона взаимодействия может оставить физический след удалённого объекта или захватить лишнюю часть сцены. Поэтому корректность маски стоит проверять до дорогого запуска обработки.

Первый проход заполняет видео

В основе реализации используется CogVideoX с дообучением для заполнения видео по маске, учитывающей взаимодействия. Первый проход создаёт основной результат. Он получает исходный ролик, разметку и описание ожидаемой сцены.

Для задачи удаления важна согласованность соседних кадров. Даже аккуратный отдельный кадр не решает проблему, если форма предмета меняется при движении.

Уточнение формы вторым проходом

Дополнительный проход использует информацию о движении из первого результата, чтобы стабилизировать объекты на синтезированных траекториях. Авторы показывают сравнение двух вариантов на странице проекта.

Этап нужен не для каждого примера. Он добавляет обработку и предназначен для случаев с заметным изменением формы. Его полезно оценивать по непрерывному воспроизведению ролика.

Описание оставшейся сцены

Текстовый ввод описывает то, что должно остаться после удаления. Веб-демонстрация предлагает загрузить ролик и quadmask, затем задать такое описание. Также доступны настройки шага генерации, силы следования запросу и начального случайного значения.

Чем яснее описана оставшаяся сцена, тем проще оценить результат относительно задачи. Лишние новые объекты в запросе осложняют проверку именно удаления.

Данные для исследования физики

Авторы создают парные примеры с объектом и без него. Для синтетических сцен используется Kubric, для взаимодействия человека с предметами - HUMOTO. Различия между парой помогают обучать систему изменениям последующего движения.

Опубликован код генерации данных. Ограничения лицензий исходных наборов не позволяют считать все обучающие материалы свободно распространяемым готовым архивом. Для воспроизведения отдельных частей нужны соответствующие исходные ресурсы.

Подготовка локального окружения

Официальный репозиторий предлагает блокнот для быстрого старта и отдельные этапы обработки. Для полного конвейера требуются базовая модель, веса VOID, средства сегментации и зависимости Python. Автоматическое рассуждение о маске использует Gemini API.

На осень 2026 года быстрый старт указывает GPU с видеопамятью от 40 ГБ. Это серьёзное требование для локальной пробы. Расход на внешнюю модель для маски нужно учитывать отдельно от запуска видеогенерации.

Где работает

Подтверждены локальный запуск на подходящем компьютере или GPU-сервере и авторская веб-демонстрация на Hugging Face. Команды обработки выполняются через терминал. Отдельный потребительский мобильный клиент в проверенных материалах не подтверждён.

Доступность конкретного GPU в демонстрации не гарантируется опубликованной страницей. Региональный доступ к Hugging Face и Gemini API, как и необходимость VPN, требует самостоятельной проверки из нужной сети.

Исходники и расходы запуска

Код репозитория опубликован под Apache 2.0. Для самостоятельной работы нужно скачать модели и подготовить вычислительное окружение. Отдельный платный план самого исследовательского проекта в проверенных материалах не найден.

Бесплатный доступ к исходникам не отменяет расходов на GPU и внешние обращения. Лицензии базовой модели, весов и обучающих ресурсов следует проверять отдельно перед коммерческой интеграцией.

Сильные стороны и ограничения

• Обработка физических последствий удаления объекта.
• Явное разделение удаляемых и затронутых областей.
• Код для исследования и дополнительное уточнение движения.

• Результат зависит от корректной маски и описания сцены.
• Возможно изменение формы объектов и другие ошибки генерации.
• Локальная проба требует мощного GPU и подготовки окружения.

Проверка отредактированного фрагмента

Просмотрите место контакта предметов, тени и движение после удаления. Полезно сравнить исходник и результат рядом, затем повторить просмотр без остановок. Ошибка может проявиться через несколько кадров после правильного начала.

Для общего монтажа в каталоге есть CapCut и VEED.IO . Их монтажные задачи отличаются от исследовательского восстановления взаимодействий, поэтому ожидания к подготовке материала здесь другие.

Кому нужен такой конвейер

Инструмент интересен исследователям видеогенерации и техническим специалистам по визуальным эффектам. Он даёт способ проверить удаление в сценах, где обычного восстановления фона недостаточно.

Начинать стоит с короткого понятного взаимодействия и сохранённого оригинала. Для чувствительных материалов учитывайте передачу данных внешним компонентам выбранного конвейера. Готовый результат необходимо просматривать перед дальнейшим использованием.