Хабрахабр

Вычисляемое видео в 755 мегапикселей: пленоптика вчера, сегодня и завтра

Аудитории был задан вопрос: «С каким максимальным разрешением вы снимали?», и дальше выяснилось, что примерно треть снимала 4К или 8 мегапикселей, остальные — не более 2К или 2 мегапикселя. Какое-то время назад автору довелось читать лекцию во ВГИК, и в аудитории было много людей с операторского факультета. Мне предстояло рассказать про камеру с разрешением 755 мегапикселей (raw разрешением, если быть точным, поскольку конечное у нее 4К)  и какие феерические возможности это дает для профессиональной съемки. Это был вызов!

Сама камера выглядит так (этакий маленький слоник):

Мне доводилось щупать эту камеру вживую, скажу, что она выглядит намного крупнее. Причем, открою страшную тайну, чтобы сделать этот снимок искали ракурс получше и человека покрупнее. Снимок ниже с Йоном Карафином, с которым мы примерно одного роста, более точно передает масштабы бедствия:

)
Дискуссии на тему возможностей пленоптики напоминают мне дискуссии касательно первых самолетов: Кому интересны принципиально возможности вычисляемого видео о которых редко пишут — вся правда под катом!

Что говорили люди:
Оно требует больших затрат...
ДА!
Оно совершенно непрактично и сейчас не окупается…
ДА!
Оно опасно в использовании…
Черт возьми, ДА!
Оно убого выглядит!
Блин, ДА, но оно ЛЕТАЕТ, понимаете, ЛЕ-ТА-ЕТ!!!

Через 50 лет эти эксперименты породили принципиально новый, удобный и достаточно безопасный способ перемещения через океаны (и не только).

Абсолютно та же! Здесь та же ситуация. И осознавать принципы и открывающиеся перспективы — это просто запредельно вдохновляет (по крайней мере вашего покорного слугу)! Сейчас оно требует неразумных затрат, чертовски неудобно в использовании и убого выглядит, но оно реально УЖЕ ЛЕТАЕТ!

Монстр на фото выше чем-то напоминает первые телекамеры, которые также были крупными, с огромным объективом, и вращались на специальной станине:


Источник: Телесъемка олимпиады в 1936 году на самой заре телевидения

Здесь многое выглядит похоже, тоже огромный объектив (ибо также не хватает света), тяжеленная камера на специальном подвесе, огромные размеры:


Источник: Lytro poised to forever change filmmaking

Из интересного: «чемоданчик» внизу — это система жидкостного охлаждения, при отказе которой камера не может снимать дальше.

Большой прямоугольник под объективом (хорошо виден на первом фото выше) — это не подсветка, а лидар — лазерный дальномер, обеспечивающий съемку трехмерной сцены перед камерой.

Толстый черный жгут внизу слева на заднем плане — это моток оптоволоконных кабелей примерно 4 сантиметра диаметром, по которым камера отдает чудовищный поток информации в специальное хранилище.

Первую, которая обычно фигурирует на всех снимках, легко узнать по одному лидару под объективом. Те, кто в теме, уже узнали Lytro Cinema, коих было создано 3 штуки. 5 года была создана вторая камера с исправленными конструктивными проблемами первой и двумя лидарами (и о ней, увы, почти не пишут). Через 1. 5 года был настолько велик, что два лидара второй камеры давали в 10 раз больше точек, чем один лидар первой. Причем прогресс в развитии, например, лидаров за 1. Но… но об этом дальше. Третья камера должна была обладать примерно теми же характеристиками по разрешению (чтобы удовлетворять требованиям киношников), но быть вдвое меньшего размера (что критично для практического использования).

Подобную камеру делали в институте Фраунгофера, благополучно существует производитель пленоптических камер компания Raytrix, опять же мне не давали фотографировать Lytro Cinema, поскольку очень опасались аж нескольких китайских компаний, которые активно работали в этом направлении (свежей информации по ним найти не удалось). В любом случае всячески признавая выдающуюся роль, которую компания Lytro сыграла в популяризации технологии пленоптической съемки, хотелось бы заметить, что свет клином на ней не сошелся.

Но именно из-за которых ее гарантированно ждет успех. Поэтому давайте по пунктам распишем все плюсы, которые дает пленоптика, и о которых почти не пишут.

Только на Хабре и только Lytro упоминается примерно на 300 страницах, поэтому будем кратки.

Ключевое понятие для пленоптической съемки — это световое поле, то есть мы в каждой точке фиксируем не цвет пикселя, а двумерную матрицу пикселей, превращая жалкий двумерный кадр в нормальный четырехмерный (обычно пока с очень небольшим разрешением по t и s):

А. В английской википедии, а потом и в русской в статьях про световое поле сказано, что «Фраза «световое поле» была использована Гершуном А. Справедливости ради заметим, что это была не случайно «использованная фраза», а название небольшой книжки на 178 страниц, которая так и называлась «Световое поле»: в… 1936 году».

И даже в то время эти работы носили вполне прикладной характер и автор 6 лет спустя в разгар войны в 1942 году получил Сталинскую премию второй степени за метод светомаскировки.

На практике, съемку четырехмерного кадра светового поля обеспечивает массив микролинз, расположенный перед сенсором камеры:


Источник: plenoptic.infо (можно кликнуть и посмотреть в полном разрешении)

Жидкостное охлаждение потребовалось собственно для охлаждения сильно нагревающегося массива. Собственно именно благодаря тому, что у нас массив микролинз с небольшим расстоянием между ними и появилась возможность создать Lytro Cinema, сенсор которой был собран из массива сенсоров, границы которых приходятся на границу линз.


Источник: Using Focused Plenoptic Cameras for Rich Image Capture

В итоге получаем, самую известную возможность пленоптических камер, о которой только ленивый не написал — менять фокусное расстояние уже после того, как сделан кадр (эти милые птички не стали бы ждать наведения резкости):


Источник: ныне почивший сайт Lytro

А о том, как пленоптика выглядит в разрешении, пригодном для кино, уже писали мало (открывается по клику):


Источник: Watch Lytro Change Cinematography Forever

И оставшиеся ниже уровня интереса журналистов 90% возможностей на мой взгляд даже более интересны. Открываю очередную тайну: вычисляемый фокус — это вершина айсберга пленоптики. Поехали! Многие из них достойны отдельных статей, но давайте по крайней мере исправим несправедливость и хотя бы назовем их.

Раз уж мы заговорили про расфокус, стоит упомянуть так называемый эффект боке, при котором блики имеют необязательно круглую форму

Для фотографов выпускаются так называемые Bokeh Kit, которые позволяют получить блики разной формы:

И понятно, что попытаться размыть натурально подобным образом в Photoshop крайне сложно, как минимум желательно использовать карту глубины: Это позволяет получить довольно красивые картинки, и на фото ниже хорошо видно, что отблески в виде сердечек имеют даже камни на переднем плане, только сердечки меньше.

При этом для пленоптики «вычислить» разную диафрагму — это относительно легко решаемая задача:

Вычислили фокусное расстояние, вычислили форму диафрагмы, пошли дальше, там интереснее! Итак!

Очень полезной возможностью пленоптического сенсора, про которую практически никто не упоминает, но которая уже дает ему вторую жизнь, является возможность вычислять изображение с разных точек. Местоположение точки определяется фактически размером объектива. Если объектив мал — кадр может немного сдвигаться вправо-влево, как на этом примере (что это стерео-фото видно, если смотреть на грудь ближней птицы):


Источник: ныне почивший сайт Lytro

Напомню, между глазами у нас примерно 6. Если объектив большой, как, например, у Lytro Cinema, то точка съемки может сдвигаться на 10 сантиметров. можно снимать и общий план (и он будет «трехмерней», чем если смотреть глазами), и крупный план (с любым параллаксом без дискомфорта). 5 сантиметров, то есть с максимальным расстоянием в 10 см. Более того, это будет не просто стерео, а стерео с идеальным качеством и, что сегодня звучит как фантастика — с изменяемым расстоянием между оптическими осями виртуальных камер ПОСЛЕ съемки. Фактически это означает, что мы можем снимать полноценное стереовидео с одним объективом. И то, и другое — совершенно немыслимые возможности, которые могут кардинально поменять ситуацию со съемкой стерео в будущем.

Не секрет, что сегодня большая часть 3D фильмов, особенно блокбастеры, не снимаются, а конвертируются в 3D. Поскольку будущее так или иначе за трехмерной съемкой, остановимся на этих двух моментах поподробнее. Делается это потому, что при съемке возникает длинный список проблем (ниже часть списка):

  • Кадры могут быть повернуты, сдвинуты по вертикали или увеличены один относительно другого (не надо говорить, что это легко исправляется, посмотрите, насколько часто подобные кадры попадают в релизы фильмов — это тихий ужас… и головная боль). Так вот — пленоптическое стерео ИДЕАЛЬНО выровнено, даже если оператор решил приблизить план (в силу особенностей механики в двух камерах крайне сложно сделать приближение строго синхронно).
  • Кадры могут отличаться по цвету, особенно если для съемки нужно небольшое расстояние между оптическими осями камер и приходится использовать бим-сплиттер (об этом был подробный пост). Получается, что в ситуации, когда при съемке любого бликующего объекта (автомобиля на заднем плане в солнечный день) мы обречены на развлечения на post-production с подавляющим большинством камер, с пленоптической у нас будет ИДЕАЛЬНАЯ картинка с любыми бликами. Это праздник!
  • Кадры могут различаться по резкости — опять таки, ощутимая проблема у бим-сплиттеров, которая полностью отсутствует у пленоптики. С какой надо резкостью, с такой и посчитаем, абсолютно ИДЕАЛЬНО по ракурсам.
  • Кадры могут уплывать по времени. Коллеги, работавшие с материалом «Сталинграда», рассказывали про расхождение таймстемпов дорожек на 4 кадра из-за чего все еще актуальна хлопушка. Мы обнаружили больше 500 сцен с расхождением по времени в 105 фильмах. Расхождение по времени, к сожалению, сложно детектируется, особенно на сценах с быстрым движением, и при этом является наиболее болезненным артефактом по нашим замерам. В случае пленоптики у нас будет ИДЕАЛЬНАЯ синхронизация по времени.
  • Отдельная головная боль при съемке 3D — слишком большие параллаксы, которые причиняют дискомфорт при просмотре на большом экране, когда ваши глаза могут расходиться в стороны для объектов, находящихся «дальше бесконечности», или слишком сходиться для некоторых объектов переднего плана. Правильный расчет параллакса — отдельная непростая тема, которой должны хорошо владеть операторы, и случайно попавший в кадр объект может испортить дубль, сделав его дискомфортным. С пленоптикой мы сами выбираем параллакс уже ПОСЛЕ съемки, поэтому любая сцена может быть рассчитана с ИДЕАЛЬНЫМ параллаксом, более того — одна и та же уже снятая сцена может быть без особых проблем рассчитана под экраны большого размера и под экраны маленького размера. Это так называемое изменение параллакса, которое обычно крайне сложно и дорого делать без потерь качества, особенно если у вас были полупрозрачные объекты или границы на переднем плане.

В общем, возможность ВЫЧИСЛИТЬ идеальное стерео — это реальная основа для следующей волны популярности 3D, благо за последние 100 лет выделяют 5 таких волн. И, судя по прогрессу в лазерной проекции и пленоптике, максимум в течении 10 лет (когда закончатся основные патенты Lytro или чуть раньше в Китае) нас ожидают новое железо и новый уровень качества 3D фильмов.

Идеальное вычисляемое стерео с одного объектива (вещь невозможная для большинства, кстати) получили. Итак! Идем глубже! И не просто получили, но и параллакс пересчитали постфактум, даже если на переднем плане объект не в фокусе.

У изменения точки съемки есть применение и в обычном 2D видео.

Часто для одной сцены нужно проложить их в нескольких направлениях, на что уходит заметное время. Если вы бывали на съемочной площадке или хотя бы видели фотографии, то наверняка обращали внимание на рельсы, по которым ездит камера. Да, безусловно, существует стедикам, но во многих случаях у рельсов, увы, нет альтернативы. Рельсы обеспечивают плавность хода камеры.

Фактически при движении камеры у нас образуется виртуальная «труба» диаметром 10 см в пространстве, в пределах которой мы можем изменять точку съемки. Возможность менять точку съемки в Lytro использовали, чтобы продемонстрировать — колес достаточно. Хорошо это показано на этом видео: И эта труба позволяет компенсировать небольшие колебания.

Более того, иногда нужно решить обратную задачу, то есть добавить колебания во время движения. Например, не хватало динамики и режиссер решил сделать взрыв. Наложить звук — недолго, но камеру желательно синхронно тряхнуть, причем лучше не просто плоско сдвинуть картинку — это будет видно, а тряхнуть «честно». С пленоптикой точку съемки можно тряхнуть совершенно «честно» — с изменением точки съемки, ракурса, motion blur и т.д. Будет полная иллюзия, что сильно тряхнуло камеру, которая мягко и безопасно ехала на колесах. Согласитесь — удивительная возможность! Стедикамы следующего поколения будут показывать чудеса.

Но учитывая, какие деньги вкладываются в миниатюризации и повышение разрешения сенсоров для смартфонов и планшетов, ждать, похоже, осталось не так долго. Безусловно, чтобы это стало реальностью нужно подождать, когда размер пленоптической камеры сократится до разумного. С каждым годом это становится всё проще и проще. И можно будет создать новую пленоптическую камеру!

Точку съемки вычислили и, если нужно, подвинули, стабилизировав или дестабилизировав камеру. Итак! Поехали дальше!

Раз уж заговорили о взрыве рядом…

В студиях post-production хорошо знают, какая это сложная проблема, даже если одежда нашего персонажа относительно простая. Иногда возникает необходимость изменить освещение объекта съемки, например, реалистично добавить вспышку.

Вот пример видео с наложением вспышки с учетом одежды, ее теней и так далее (открывается по клику):


Источник: интервью с Йоном Карафином

Под капотом это выглядит, как плагин под Nuke, который работает с полной трехмерной моделью актера и накладывает новый свет на нее с учетом карты нормалей, материалов, motion blur и так далее:


Источник: материалы Lytro

Новое освещение уже снятого объекта вычислили. Итак! Поехали дальше!

Те, кто экспериментировал с первыми Lytro часто отмечали — да, игрушка прикольная, но разрешение совершенно недостаточное для нормальной фотографии.

Вопрос: Применимы ли эти алгоритмы к пленоптике? В прошлой нашей статье на Хабр было описано, как небольшие сдвиги точки съемки могут помочь заметно увеличить разрешение. Более того — алгоритмам Super Resolution работать на пленоптических изображениях проще, поскольку есть карта глубины, все пикселы сняты в один момент времени, и достаточно точно известны сдвиги. Ответ: Да! Результат получается соответствующий: То есть ситуация пленоптики просто волшебная по сравнению с тем, в каких условиях алгоритмы Super Resolution работают в обычном 2D.


Источник: Наивное, умное и Super Resolution восстановление пленоптического кадра из Adobe Technical Report «Superresolution with Plenoptic Camera 2.

Тем не менее уже сегодня совершенно реально загрузить вычислительную ферму на ночь и получить назавтра вдвое большее разрешение там, где требуется. Единственная крупная проблема (действительно крупная!) — объемы данных и объемы вычислений, которые требуются.

Поехали дальше! Итак — разобрались с вычисляемым разрешением!  

Отдельная задача, которая встает на этапе post-production, особенно если это какой-то фантастический или фэнтезийный проект, это аккуратно вклеить снятые объекты в трехмерную сцену. Глобально большой проблемы нет. Сегодня норма — трехмерное сканирование площадки съемки и дальше остается только аккуратно совместить снятую модель и трехмерную сцену, чтобы не было классики жанра, когда ноги актеров иногда чуть проваливаются в нарисованный неровный пол (этот косяк не очень заметен на малом экране, но может быть хорошо виден в кинотеатре, особенно где-нибудь в IMAX).

Не без юмора для примера работы камеры была использована сцена съемки посадки на луну (хорошо видны «трехмерные тени» в местах, которые не видит камера):


Источник: Moon | Lytro | VR Playhouse | Lightfield Post-Production

А если камера совмещена с лидаром — у нас сразу снимается трехмерная сцена, что категорически упрощает на следующем этапе совмещение реальной съемки и графики. Поскольку в пленоптической камере по определению снимается многоракурсное видео, построить карту глубины — проблема небольшая.

Теперь, как вы догадались, рендеринг лунной съемки будет еще более качественным! Итак, трехмерную сцену вокруг посчитали (совместив данные лидара и данные пленоптики). Идем дальше.

Но и это не все!

Это делается для того, чтобы не было проблем на полупрозрачных границах, когда фон будет меняться. Привычная технология современной съемочной площадки — зеленые экраны (green screen), когда в местах, где предполагается компьютерный фон, ставятся окрашенные зеленым фанерные щиты или натягиваются зеленые баннеры. А поскольку на 4К при движении объектов у нас большая часть границ становятся полупрозрачными — актуальность зеленых (или синих в зависимости от цвета одежды актеров) экранов крайне высока.

Это позволяет снимать без использования зеленых экранов, в том числе довольно сложное изображение, а потом восстанавливать карту прозрачности: Сие крайне непривычно для киношников, но поскольку мы сами можем изменять резкость объектов, у нас появляется возможность обрабатывать кадры с разной глубиной резкости и, как следствие, считать карту полупрозрачности границ и точный цвет снятого объекта.


Источник: интервью с Йоном Карафином

В Lytro специально сняли ролик, на котором носят лестницы на заднем плане (поскольку при реальных съемках на самых удачных дублях обязательно что-то не то попадает в кадр — это незыблемый закон съемок!), а на переднем плане падают размытые конфетти (что сразу превращает чистку мужиков с лестницами в недетский challenge), но в кадре эти дальние объекты относительно легко обрезаются и у нас остается аккуратный передний план, в том числе с картой полупрозрачных границ (выбран фон, на котором легко оценить качество выделения конфетти, который его не маскирует):

И будет совершенно прав. Грамотный читатель спросит, а как же движение или те же волосы? Другое дело, что точно зная фон и имея возможность немного подвигать объект перед фоном у нас открываются совершенно новые возможности по автоматическому и более качественному построению карты прозрачности. Свои сложности, безусловно, еще остаются (и очень много).

Что означает ощутимое снижение их себестоимости. Собственно в силу последних трех моментов можно прогнозировать будущий успех пленоптических камер в съемке сериалов типа «Игр престола», когда большое количество спецэффектов можно будет поставить на поток. И инструменты подтянутся. Там не все так просто, но возможности для вычисления карт прозрачности за счет перефокусировки и возможности сдвинуть точку съемки на порядок превышают аналогичные возможности для обычных 2D камер.

Итак, с вычисляемой картой прозрачности без гринскринов разобрались, поехали дальше!

Отдельная важная тема — вычисляемая экспозиция или вычисляемый затвор. Эта тема не имеет прямого отношения к пленоптике, но в современных условиях, когда диагональ, контрастность и разрешение экрана дружно и быстро растут, она становится все более и более актуальна. Проблема в эффекте стробоскопа, который характерен для быстрого движения объектов в кадре при «обычной» съемке.

Кардинально снизить этот эффект, сделав движение «мягким» и рассчитав «идеальный» затвор, можно, сняв видео с большей частотой кадров, а потом пересчитать его в меньшую частоту, воспользовавшись разными функциями пересчета, в том числе не только суммируя кадры, но и вычитая (в Lytro Cinema было 300 fps, чтобы было понятно, как интерпретировать эти графики):

Это дает возможность «снять» видео с затвором, который создать физически крайне сложно, а то и вовсе невозможно, но который обеспечивает крайнюю «мягкость» и «приятность» движения объектов в сцене без эффекта стробоскопа от веток, колес и других быстро движущихся объектов (особенно обратите внимание на диски колес, и на то, насколько стала лучше видна машина за препятствиями):


Источник: https://vimeo.com/114743605

Или вот два еще кадр, движение камеры в котором будет намного более приятно восприниматься на глаз, особенно на большом экране:


Источник: https://vimeo.com/114743605

Двигаемся дальше! Уф, вычислили экспозицию.

Обычно, когда речь заходит про пленоптику сегодня, то идут типичные разговоры в стиле «Шеф всё пропало: гипс снимают, клиент уезжает!», Lytro в прошлом году задешево купил Google, эксперименты Pelican Imaging в массовое производство не пошли и вообще все осталось лишь красивой теорией…


Источник: Pelican Imaging: Smartphone Plenoptic Camera Modules for 20 Dollars

Слухи о смерти пленоптики сильно преувеличены. Так вот! Очень сильно!

Напротив, ровно сейчас пленоптические сенсоры выпускаются и используются в масштабах, которых ранее никогда не было в истории.

Если посмотреть на телефон, очень хорошо видно, что камера у телефона одна: Небезызвестная компания Google без особой помпы выпустила Google Pixel 2 и Google Pixel 3 с пленоптическими сенсорами.

Однако при этом телефон делает очень даже неплохое размытие заднего плана, в общем-то не хуже, чем его «двуглазые», «трехглазые» и «четырехглазые» коллеги (согласитесь следующее фото особенно сильно выигрывает от этого эффекта):


Источник: AI Google Blog (можно нажать и посмотреть в большем размере, в первую очередь на границы объекта переднего плана)

Как они это делают?!

Применяется неизбывный в последнее время источник волшебных чудес — недетская магия нейросетей?

А секрет качества эффекта в том, что сенсор смартфона пленоптический, правда линза накрывает только два пиксела, как показано на картинке: Нейросети, особенно в Pixel 3, в этой задаче тоже активно применяются, но про это дальше.


Источник: AI Google Blog

В итоге у нас получается микро-стерео картинка, здесь по движению виден очень небольшой сдвиг (правая картинка анимирована и движется вверх-вниз, поскольку так держали телефон при съемке):

Но даже этого крайне небольшого сдвига хватает для того, чтобы построить карту глубины для снимаемого фото (про использование субпиксельных сдвигов было в прошлой статье):

В примере ниже Learned означает Stereo+Learned, подробнее про это, будем надеяться, будет отдельный пост: При этом с применением машинного обучения результаты можно заметно улучшить и это уже реализовано в Pixel 3.

Для любителей разглядывать глубину в полном разрешении больше примеров в специальной галерее.

Но уже понятно, что качество глубины получается вполне достаточное для того, чтобы уверенно сегментировать изображение по глубине и дальше накладывать разные эффекты, более уверенно добавлять объекты в сцену и так далее. Хорошо видно, что не все идеально, и у нас есть типичные артефакты, характерные для построения карты глубины из стерео (которые, к слову, вполне в наличии и у двуглазых коллег Pixel), да и маленький параллакс сказывается. Результаты ИЗМЕРЕННОЙ глубины на порядок лучше результатов на основе разных предположений (сколь угодно нейросетевых).

Вы живете во время выпуска пленоптических камер в успешном массовом рыночном продукте, пусть даже и не знаете об этом! Так что поздравляю всех, дочитавших до этого момента!

История на этом, конечно, не заканчивается:

  • Во-первых, интересно, что пленоптика обошлась «почти даром», поскольку в современных камерах смартфонов при миниатюризации сенсора и росте разрешения катастрофически не хватает светового потока, поэтому каждый пиксель накрывают микролинзой. То есть такой сенсор не обходится дороже (это очень важно!), правда мы несколько жертвуем разрешением, которое только что увеличили за счет другой технологии. В итоге применения двух технологий результат становится лучше в 2D (меньше шумов, выше разрешение, HDR) и при этом дополняется измеренной глубиной, то есть становится 3D. Цена вопроса — кардинальный рост количества вычислений на кадр. Но для фото это уже сегодня возможно и уже работает в реальных смартфонах.
  • Во-вторых, на одной конференции сотрудник Google говорил, что они думают накрыть линзой 4 пиксела, после чего качество карты глубины будет кардинально выше, поскольку появятся 2 стереопары c в 1.4 раза большей стереобазой (две диагонали), это кардинально улучшит качество карты глубины, в том числе пропадут многие артефакты стерео на границах. Конкуренты смогут достичь такого качества, только поставив минимум 3 камеры не в ряд. Такое увеличение качества важно для AR.
  • В-третьих, Google уже не одинок, вот пример описания аналогичной технологии в Vivo V11 Pro, согласитесь, вы только что похожую картинку уже видели:


Источник: What is Dual Pixel technology?
Применяется пленоптика и в автофокусе профессиональных фотоаппаратов, например, у Canon (гуглить DPAF — Dual Pixel Auto Focus). Кто бы мог подумать, что теоретический прикол 30-летней давности — возможность снять стерео одним объективом — станет первым массовым применением пленоптики…

В общем — тема пошла в продукты!

Понимаете, ЛЕ-ТА-ЕТ! Она уже летает!

Пленоптика в кино

Выше мы разобрали два случая применения пленоптики — в кинопроизводстве и в смартфонах. Это не полный список, например, пленоптика весьма актуальна в микроскопии — можно делать вычисляемые стерео-микроснимки с большой «честной» глубиной резкости; пленоптика актуальна для промышленных камер, особенно если нужно делать фото полупрозрачных многоуровневых объектов и так далее. Но про это как-нибудь в другой раз.
Напомним, для применения в кинопроизводстве актуальны:

  1. Вычисляемое фокусное расстояние
  2. Вычисляемое боке
  3. Вычисляемое разрешение
  4. Вычисляемое идеальное стерео
  5. Вычисляемая точка съемки
  6. Вычисляемое освещение
  7. Вычисляемое окружение
  8. Вычисляемый гринскрин
  9. Вычисляемый затвор

В ближайшие годы с миниатюаризацией и ростом разрешения сенсоров технологию можно развить до создания практичной принципиально новой кинокамеры, позволяющей быстрее (без гринскрина) и с меньшим числом дублей (больше моментов легче поправить) снять материал для наложения спецэффектов. Новые возможности настолько интересны, что к тому моменту, как пленоптический сенсор с пригодным для кино разрешением можно будет сделать компактным, подобные камеры обречены на успех.

Когда такая камера может появиться?

Осторожный ответ — в ближайшие 10 лет.

От чего зависит срок?

Хороший вопрос: какова будет ситуация с возможностью лицензировать патенты Lytro, которыми сейчас владеет Google? От многих факторов. К счастью за 10 лет у ключевых из них истечет срок действия (тут мы вежливо не вспоминаем про китайских коллег Lytro, которые могут ускорить процесс). Это может быть критично. Из хороших новостей — в своё время благодаря Lytro в очень популярной программе компоузинга, которая используется в огромном числе студий для обработки стерео был поддержан пленоптический формат данных. Также должна упроститься работа с колоссальными объемами данных, генерируемых пленоптической камерой: с современными облаками это становится все проще и проще. Это упрощает «вхождение» на этот рынок с профессиональным продуктом, поскольку важно, чтобы студии сразу без обучения персонала и в тех же программах сразу могли работать с форматом новых камер. Как говорится, Lytro умер, но возможность писать плагины под Nuke с поддержкой пленоптического видео осталась с нами.

Пленоптика в смартфонах

Если говорить про смартфоны, то тут все выглядит еще лучше. Наиболее актуально для этой индустрии возможность пленоптической камеры измерять глубину одним сенсором (потенциально — быстро) и эта возможность скоро будет мега-востребована.

Когда такая камера может появиться?

И завтра технологию повторят другие производители. Уже существует. Причем ключевым драйвером следующего этапа будет дополненная реальность на смартфонах и планшетах, которой сегодня очень не хватает точности и возможности «видеть» трехмерную сцену.

От чего зависит срок?

И ARCore выглядит очень перспективно, равно как и конкурирующий ARKit. Возможность измерять расстояние основным сенсором в реальном времени с большой вероятностью скоро появится у Google Pixel, поскольку Google давно ведет разработки в этом направлении (смотри Project Tango, который закрыт, но дело которого живет). Далее считайте сами. И прорыва, как вы теперь догадываетесь, ждать осталось недолго, благо стоимость пиксела сенсора падает по экспоненте, средней скоростью называют 10 раз за 10 лет, а нам нужно падение в 2 раза. Не завтра, но совсем недолго.

Помните, в самом начале речь шла про лекцию в ВГИК? Должен сказать, что совершенно не ожидал той реакции на нее, которая была в итоге. Если описать одним словом, то это был траур. Если двумя словами, то вселенский траур. И я сначала не понял, в чем дело. Очень хорошо мне объяснил ситуацию подошедший после лекции оператор. Дело было даже не в том, что уменьшается операторское искусство. Хотя там был великолепный пример: фрагмент фильма примерно на 6 секунд, когда человек подходит к двери квартиры, стучится, дверь открывает другой человек, здоровается и чуть отодвигается пропуская, а камера в это время фокусируется на коридоре, потом на косяке, потом мгновенно переводит фокус на открывшего человека, а потом в комнату. И оператору нужно великолепно владеть камерой, чтобы при киношной небольшой глубине резкости виртуозно работать трансфокатором, помня о контровом свете, композиции кадра, укачивании при съемке с рук и еще 1000 важных мелочей. Так вот. Дело даже не в том, что это становится делать проще. Это даже хорошо. Меньше дублей будет испорчено из-за того, что оператор где-то не успел или промахнулся. Он рассказал, как недавно снимал сериал в 4К для телеканала. И запас по разрешению получился большой. В результате на post-production режиссер подрезал кадры, а местами на перебивки использовались просто фрагменты кадра. В итоге композиция была просто ужасна и этот оператор хотел снимать свое имя с титров.

И будет большая печаль, если те, кто будет обрабатывать снятые сцены, будут неграмотными в вопросах композиции, управления фокусным расстоянием и так далее. Описанные выше возможности камер для киношников означают перевод многих эффектов с этапа съемок на этап post-production. Если же будут грамотными — это новые фантастические возможности.

Так пожелаем же всем нам побольше компетентности, что не всегда просто в этом быстро меняющемся мире!

А Карфаген бу…  всё видео до конца века станет трехмерным!

Хотелось бы сердечно поблагодарить:

  • Лабораторию Компьютерной Графики ВМК МГУ им. М.В.Ломоносова за вклад в развитие компьютерной графики в России и не только,
  • наших коллег из видеогруппы, благодаря которым вы увидели эту статью,
  • персонально Константина Кожемякова, который сделал очень много для того, чтобы эта статья стала лучше и нагляднее,
  • Йона Карафина в бытность его Head of Light Field Video в Lytro, благодаря которому мы чуть не начали работать над улучшением их продукта (и не начали по независящим ни от него, ни от нас причинам),
  • компанию Lytro за их вклад в популяризацию световых полей и их возможностей, компанию Google, которая подхватила падающий флаг, и другие компании, которые делают продукты на основе этой интереснейшей технологии,
  • и, наконец, огромное спасибо Сергею Лаврушкину, Роману Казанцеву, Ивану Молодецких, Евгению Купцову, Егору Склярову, Евгению Ляпустину и Денису Кондранину за большое количество дельных замечаний и правок, сделавших этот текст намного лучше!
Теги
Показать больше

Похожие статьи

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Кнопка «Наверх»
Закрыть