Исследователи машинного обучения Apple представили нейросеть LiTo, которая восстанавливает трёхмерные объекты по одной фотографии. Модель сохраняет сложные визуальные эффекты — блики, отражения и изменения внешнего вида материала под разными углами, сообщили в ML-подразделении компании.
Большинство существующих нейросетей для генерации 3D-моделей нацелены на точную передачу геометрии. Даже если модель умеет создавать текстуры, она обычно работает только с «плоскими» цветами поверхности и плохо понимает, как меняется внешний вид объекта при разном освещении. LiTo решает эту проблему: нейросеть кодирует в латентном пространстве сразу и геометрию, и то, как меняется внешний вид объекта. Сначала модель обучили генерировать 3D-объекты, а затем с помощью сжатия случайных выборок светового поля поверхности в компактный набор латентных векторов — восстанавливать визуальные эффекты. В Apple отметили, что LiTo генерирует более качественные 3D-объекты с высоким уровнем точности относительно входного изображения по сравнению с нейросетью TRELLIS.
Нейросеть планируют использовать для создания ассетов и более быстрого переноса реальных объектов в цифровые 3D-модели.
Технологии машинного зрения и создания цифровых моделей активно развиваются и находят применение в самых разных сферах. Интернет-газета «ЖУК» сообщала, что в Новосибирском государственном техническом университете НЭТИ разработали нейросеть для анализа поведения покупателей в магазинах. Система на основе компьютерного зрения в реальном времени обрабатывает видеопоток с камер наблюдения: обнаруживает людей в кадре, подсчитывает их количество, запоминает траектории движения и места остановок.