Обычной фотографии теперь достаточно, чтобы создать виртуальный мир, по которому можно свободно перемещаться и рассматривать окружающую обстановку с разных сторон. Компания World Labs, основанная исследовательницей искусственного интеллекта Фэй-Фэй Ли, открыла доступ к Atlas, нейросети для создания трёхмерных пространств. Пользователи могут менять расположение предметов, настраивать освещение, снимать виртуальные видеоролики и переносить готовые сцены в Blender и игровые движки.
Atlas умеет достраивать пространство за пределами исходной фотографии. Достаточно загрузить снимок комнаты, чтобы нейросеть создала трёхмерную обстановку и позволила заглянуть в ранее невидимые уголки помещения. При перемещении виртуальной камеры система генерирует новые изображения, стараясь сохранять положение мебели, пропорции предметов и особенности интерьера.
Правда, точно восстановить помещение по одному снимку невозможно. Нейросеть самостоятельно придумывает невидимые детали, поэтому за дверью или спиной фотографа может появиться обстановка, которой в действительности никогда не существовало. Для более точного воспроизведения реального места пользователь может загрузить до 64 фотографий, сделанных с разных ракурсов. Atlas сопоставит изображения и соберёт единую трёхмерную сцену.
Работать с фотографиями помогает инструмент Viewfinder. После загрузки изображений пользователь может перемещать виртуальную камеру, выбирать интересные ракурсы и прокладывать маршрут для съёмки. Например, можно начать с общего плана комнаты, затем приблизиться к столу, обойти мебель и получить видеоролик с плавным движением камеры. Программа также позволяет сохранять отдельные кадры и трёхмерные сцены для дальнейшей работы.
Для тех, кому нужен больший контроль над результатом, разработчики подготовили Chisel. Вместо готовой фотографии можно сначала собрать простую модель помещения из геометрических фигур, обозначить стены, расставить мебель и выбрать положение камеры. Затем нейросеть добавит детали, материалы и текстуры. Если передвинуть кресло или изменить планировку, Chisel обновит изображения с выбранных ракурсов. Художникам и дизайнерам такой подход позволяет заранее продумать композицию, не тратя время на ручную проработку каждого предмета.
Отдельный инструмент Relight помогает менять освещение готовых сцен. Пользователь может поэкспериментировать с источниками света и посмотреть, как меняется обстановка. Возможность пригодится при подготовке виртуальных декораций, рекламных изображений и архитектурных визуализаций, где освещение сильно влияет на восприятие пространства.
World Labs предусмотрела и перенос созданных миров в профессиональные программы. Сначала Atlas сохраняет пространство в виде множества полупрозрачных цветных элементов, которые вместе формируют объёмное изображение. Такой способ позволяет передавать сложные детали и рассматривать сцену с разных сторон, но обычным трёхмерным редакторам удобнее работать с поверхностями, состоящими из многоугольников. Инструмент Splats to Mesh преобразует созданное пространство в полигональную модель, которую можно редактировать и использовать в играх, анимации и симуляциях.
Разработчикам также открыли программный интерфейс Atlas. Через него можно автоматически создавать изображения, строить трёхмерные сцены, готовить видеоролики и преобразовывать результаты в форматы для других программ. Предусмотрена работа с ИИ-агентами, которым достаточно дать текстовое задание, чтобы запустить последовательность необходимых операций. Использование интерфейса оплачивается кредитами, а расходы зависят от выбранных задач.
В основе Atlas лежит подход, который специалисты называют моделями мира. Обычные генераторы изображений создают отдельные картинки, а подобные нейросети пытаются учитывать расположение объектов в пространстве и сохранять согласованность сцены при смене ракурса. Благодаря этому виртуальная комната не должна полностью меняться каждый раз, когда пользователь поворачивает камеру.
Саму Atlas компания представила ещё в сентябре, а позднее показала экспериментальную систему Frameboy, позволяющую исследовать виртуальные пространства в реальном времени. Во время демонстрации изображения передавались с облачных серверов со скоростью до 15 кадров в секунду. Для работы требовались мощные графические процессоры, поэтому разработчики пока не рассматривают такой способ генерации как дешёвую замену обычной трёхмерной графике.
World Labs рассчитывает, что Atlas пригодится создателям игр, художникам по визуальным эффектам, архитекторам и специалистам по робототехнике. Разработчик игры сможет быстро подготовить окружение для нового уровня, дизайнер интерьера сможет проверить несколько вариантов расстановки мебели, а инженеры смогут создавать виртуальные площадки для испытаний роботов. Однако качество полученных моделей ещё предстоит оценить на практике. Нейросеть способна ошибаться в геометрии и придумывать несуществующие детали, поэтому для проектов, требующих высокой точности, результаты придётся проверять и дорабатывать вручную.
