Карта глубины фото: как нейросеть превращает 2D в 3D
Любой способ сделать 3D из одного фото упирается в одну задачу: понять, какие пиксели ближе, а какие дальше. Ответ на неё — карта глубины (depth map). Разберёмся, что это такое, как её строят нейросети и почему именно она отличает настоящий объём от декоративной подделки.
Что такое карта глубины
Это чёрно-белое изображение того же размера, что и фото, где яркость пикселя кодирует расстояние: белый — ближе к камере, чёрный — дальше. В 3D Photo One её можно открыть в режиме «Глубина»: градиентом от холодного к тёплому видно, как расположены слои сцены.
Имея такую карту, движок Makaroverse Engine сдвигает каждый пиксель пропорционально его глубине и достраивает вторую картинку — «взгляд» из второй точки. Получается стереопара, из которой дальше делаются анаглиф, wiggle, параллакс и VR.
Как нейросеть оценивает глубину по одному кадру
Человек оценивает расстояние по множеству подсказок: перспектива, размер знакомых объектов, заслонение, тени, размытие фона. Нейросеть (monocular depth estimation) учится тем же подсказкам на миллионах пар «фото + точная глубина». После обучения она выдаёт карту глубины даже для снимка, который видит впервые — хоть пейзаж, хоть портрет, хоть товарный кадр.
- Perspective clues — сходящиеся линии и перспектива;
- Occlusion — передний объект закрывает задний;
- Known size — человек, машина, дерево помогают угадать масштаб;
- Defocus — размытый фон кажется дальше.
Почему depth map лучше «фильтра по яркости»
Простые сервисы делают псевдо-3D, сдвигая каналы по яркости: тёмное «вдавливают», светлое «выталкивают». Это не имеет отношения к реальному расстоянию — лицо на тёмной стене уйдёт вглубь, хотя должно выступать. Поэтому такие картинки выглядят плоскими слоями.
Карта глубины, построенная нейросетью, соответствует геометрии сцены. Лицо выступает, фон уходит назад, предметы сохраняют пропорции — эффект выглядит по-настоящему объёмным.
Главное преимущество AI-глубины — возможность править её вручную. Ошиблись? Кистью выдвиньте объект вперёд или отодвиньте назад и пересоберите 3D заново.
Ручная правка глубины: фича, которой нет у конкурентов
Автоматика не идеальна: сложные волосы, прозрачные предметы, перекрытия могут смазать карту. В 3D Photo One вы не привязаны к результату нейросети:
- Возьмите кисть «Ближе» и пройдитесь по главному объекту;
- Кистью «Дальше» отведите мешающий фон;
- Слайдером «Вылет из экрана» настройте силу поп-аута;
- Скачайте готовое 3D-фото.
Это превращает сервис из «фильтра» в инструмент: одинаково удобно и для разовой шутки в мессенджере, и для карточки товара, и для портрета на подарок.
Где ещё используют карты глубины
- Размытие фона (портретный режим) на смартфонах;
- 2D→3D конвертация фильмов;
- AR-приложения и наложение виртуальных объектов;
- Панорамы и «параллакс-фото» на сайтах.
Посмотрите карту глубины своего фото
Загрузите снимок и откройте режим «Глубина» — увидите сцену глазами нейросети.
Построить карту глубины онлайн