Нейросеть Samsung научилась созданию фотореалистичного видео

3D-рендеринг — сложный процесс, отнимающий немало времени и вычислительных ресурсов компьютера. Команда разработчиков Samsung создала нейросеть, способную создавать фотореалистичные сцены на основе пользовательского видеоматериала за считаные минуты.

Сотрудники южнокорейской компании создали систему, способную создавать фотореалистичные трёхмерные сцены на основе пользовательского видео, изменяя угол зрения камеры по сравнению с оригиналом. Нейросеть превращает изображение в набор точек, представляющих геометрию сцены, и обрабатывает их как компьютерную графику. В результате небрежно снятый ролик можно перемонтировать, изменив перспективу камеры без повторной съёмки.

Опубликованный разработчиками алгоритма видеоролик — не результат съёмки камерой, а уже готовая трёхмерная графика. ИИ создаёт из видео «облако» объёмных точек, каждая из которых хранит информацию о цвете и геометрических параметрах объектов в кадре. В настоящее время алгоритм способен обрабатывать небольшие сдвиги перспективы и работать с масштабированием или перемещением «камеры».