WorldCrafter: по миру из одной фотографии можно гулять минуту и он не рассыпается
В трендах Hugging Face первое место заняла работа WorldCrafter. Модель берёт одно изображение или текстовое описание и делает из него сцену, по которой можно двигаться камерой: развернуться, уйти в сторону, вернуться назад. Ключевое здесь не картинка, а память: обстановка за спиной остаётся той же, а не придумывается заново. Заявленная длительность прогулки без развала сцены — около минуты.
Чем это отличается от генерации видео
Видеомодель делает ролик: вы описали сцену, она выдала готовые кадры. Изменить траекторию камеры после этого нельзя, можно только сгенерировать заново.
Модель мира работает иначе. Она отвечает на движение: вы поворачиваете камеру, она показывает, что там. Это интерактивный процесс, а не файл на выходе.
Главная проблема таких моделей всегда была одна. Отвернулись от здания, прошли десять метров, вернулись — а здание другое: другого цвета, с другими окнами, иногда его вообще нет. Сцена существовала только в последних кадрах.
Как устроена память сцены
Прежние подходы пытались строить явную трёхмерную модель: считать глубину, сопоставлять точки между кадрами, собирать из этого геометрию. Работает, пока сцена простая, и ломается на всём остальном.
WorldCrafter делает по-другому. Память о сцене хранится неявно, а запрашивается положением камеры: именно точка зрения определяет, какие из ранее увиденных кадров и как сжимаются в состояние генератора. Никаких явных соответствий по глубине не требуется.
Почему это важнее, чем красота кадра
Качество отдельного кадра видеомодели давно приличное. Узкое место — согласованность: остаётся ли мир тем же миром через полминуты. Именно в эту сторону сейчас двигаются исследования, и выигрыш измеряют не «красивее», а «дольше не разваливается».
Кому это нужно за пределами игр
Игры — очевидное применение, но не единственное и не первое по деньгам.
- Обучение роботов и агентов. Чтобы тренировать поведение, нужна среда, в которой можно ошибаться. Генерировать её дешевле, чем строить руками.
- Съёмка и препродакшн. Пройтись камерой по локации до выезда съёмочной группы, выбрать ракурс, показать заказчику.
- Недвижимость и интерьеры. Обход по фотографии вместо панорамной съёмки.
- Тренажёры. Ситуации, которые дорого или опасно воспроизводить в реальности.
Общее у всех пунктов: нужна не красивая картинка, а возможность двигаться внутри и получать согласованный результат.
Как мерят такие модели
Полезно понимать, по каким числам вообще судят о прогрессе, иначе все релизы выглядят одинаково впечатляюще.
| Что измеряют | Что это значит на практике |
|---|---|
| длительность согласованного прохода | сколько секунд мир остаётся тем же миром |
| точность управления камерой | попадает ли обзор туда, куда вы его повели |
| возврат в прежнюю точку | совпадает ли обстановка с тем, что вы видели минуту назад |
| качество кадра | привычная картинка, здесь она давно не главное |
WorldCrafter заявляет прирост по первым трём пунктам при сохранении четвёртого. Это и есть интересная часть: раньше улучшение согласованности обычно оплачивалось ухудшением картинки.
Чего ждать и чего не ждать
Минута согласованного движения звучит скромно, но это заметный шаг: год назад разговор шёл о секундах.
При этом до готового инструмента дистанция есть. Исследовательская работа показывает, что подход работает, а не что его можно взять и включить в продукт. Между этими состояниями обычно проходит от полугода до года, и часть подходов не доходит вообще.
Второе ограничение по природе метода: модель не знает, что находится за пределами увиденного. Она согласованно помнит то, что уже показала, и придумывает всё остальное. Для прогулки это нормально, для замеров и планирования нет.
Что можно делать уже сегодня
Соседняя задача решается прямо сейчас: оживить фотографию, то есть получить короткий ролик с движением камеры или объектов по одному кадру. Это не интерактивный мир, но для большинства практических задач достаточно.
В tenzor в разделе видео есть режим по первому кадру: загружаете фотографию, описываете движение, получаете ролик. Из галереи картинок есть кнопка «Оживить», чтобы не перекладывать файлы руками.
Что такое модель мира?+
Модель, которая не выдаёт готовый ролик, а отвечает на движение камеры: вы поворачиваете обзор, она показывает, что там. В отличие от генерации видео, это интерактивный процесс.
Чем WorldCrafter отличается от прежних моделей?+
Памятью сцены. Прежние подходы строили явную трёхмерную геометрию и ломались на сложных сценах. Здесь память хранится неявно и запрашивается положением камеры, поэтому обстановка за спиной не меняется при возврате.
Можно ли этим пользоваться уже сейчас?+
Это исследовательская работа, а не продукт. Соседняя задача доступна сегодня: сгенерировать короткое видео по одной фотографии с заданным движением камеры.
Где такие модели нужны кроме игр?+
В обучении роботов и агентов, подготовке съёмок, показе недвижимости и интерьеров по фотографии, а также в тренажёрах для ситуаций, которые дорого или опасно воспроизводить в реальности.
Что дальше почитать
- Как сделать видео из фото — пошагово, с ценами.
- Как сгенерировать видео нейросетью — режимы и что выбрать под задачу.
Оживите свою фотографию
Загрузите кадр, опишите движение камеры и посмотрите, что получится. Цена показывается до запуска.
Открыть видео