Хабрахабр

Будущее VR видео — VR180 от Google

Хинт: этот gif запускается и останавливается по клику

S3D: No pain IS gain

В апреле этого года Google анонсировала технические детали нового формата для VR-видео — VR180. Спецификации формата были выложены в репозиторий Google на GitHub, производителям камер было предложено делать специальные камеры, формат стал поддерживаться на YouTube.

В «обычном» VR-видео — 360-видео — можно вертеть головой во всех направлениях по горизонтали, при этом основное действие происходит, как правило, с какой-то одной стороны, а на устройство транслируется весь поток, что приводит к передаче и хранению избыточной информации. Основная идея довольно проста. При этом «вторая половина» кадра используется для второго ракурса, то есть получается стерео. По факту в подавляющем большинстве случаев нет необходимости в реализации просмотра на 360 градусов — для достижения того же эффекта вполне достаточно и 180 градусов.

Таким образом, предложенный формат обеспечивает даже большее ощущение погружения, чем от 360-видео, является более дешевым в производстве, более простым в съемке и не имеет проблем со стичингом.

Как такое возможно, и что же предложили в Google?

Кому интересно VR-видео ближайшего будущего — добро пожаловать под кат!

Введение в VR180

Сначала о хорошем.

Для съемки качественного 360-видео используется до 17 камер (пример от Xiaomi ниже), что порождает массу проблем с размером рабочего видео, частичным отказом, перегревом, нестабильным фокусом камер и т. VR180 заметно проще снимать, чем 360-видео. При этом, с точки зрения простого пользователя, лучшими признавались камеры с двумя fisheye объективами (раз, два, три). д.


Источник

Это заметно снижает стоимость конечного устройства. Новый формат снимается также двумя камерами. Для успеха формата важно, чтобы им легко могли воспользоваться каждая домохозяйка и каждый школьник. При этом техника съемки сильно упрощается, поскольку остаются актуальны все приемы работы с обычной камерой (только результат получается потенциально более зрелищным и с большим погружением). Поэтому, чем проще — тем лучше.

Еще недавно казалось, что пройдет немного времени, и проблемы стичинга будут решены. Далее, в VR180 пропадают проблемы так называемого стичинга (склейки) — крайне заметные артефакты в местах, где сшивались картинки с двух камер. Если на границе склейки есть быстро движущийся или полупрозрачный объект, то на нынешнем уровне развития алгоритмов обработки видео в автоматическом режиме проблема не решается. Увы, они оказались гораздо сложнее. В VR180 стичинга нет, а значит, в принципе нет и связанных с ним проблем. Безусловно, алгоритмы автоматического матирования развиваются, однако отсутствие артефактов не гарантируется даже с Deep Learning методами.

То есть с точки зрения бинокулярного зрения картинка воспринимается висящей на некотором экране перед глазами, что зачастую уменьшает «вау-эффект» и эффект погружения, а VR180 изначально и по умолчанию — стереоформат. И, наконец, почти всегда снятое 360-видео является плоским.

Как следствие, производители довольно активно начали выпускать камеры, специально ориентированные на VR180, например: Все эти моменты выглядят весьма многообещающе с точки зрения прогноза успеха формата.


Тот факт, что на рынок VR180 вышла Xiaomi, безусловно, внушает оптимизм.

Иногда достаточно только напечатать или купить крепление, чтобы начать эксперименты (ниже примеры c GoPro, цифровыми «мыльницами», зеркалками Sony): Также появились решения, позволяющие самому собрать камеру для съемки VR180 из  двух обычных камер с fisheye-объективами.


Источник


Источник: http://products.entaniya.co.jp/en/products/equipment-for-3d-stereo-180-vr/

Кроме того, появились забавные решения, когда одна камера поддерживает съемку в форматах и VR180, и видео 360 (это «раскладушка», которая в свернутом состоянии снимает 360, а в развернутом — VR180):


Источник

Помимо прочего, открылись новые горизонты экспериментов по съемке VR-видео (на фото YI Horizon VR180 camera от Xiaomi):

Количество новых устройств для съемки в VR180 весьма велико, и это заметно способствует популярности нового формата.

Внедрение VR180

Сегодня компании пытаются внедрить VR везде, где только можно, хотят сделать формат более популярным и распространенным. А главное — дешевым. Google не исключение. Все помнят их бюджетное решение по внедрению «шлемов виртуальной реальности» (англ. Head Mounted Display, HMD) в широкое пользование — Google Cardboard.

Его функционал, конечно же, никак не сравнится с дорогими HMD, но основная цель достигнута: сделать VR доступнее и превратить каждый смартфон в шлем виртуальной реальности при дополнительных затратах менее $1.

Развивая успех, Google запускает новый формат VR180 с поддержкой загрузки на YouTube и со специальным фильтром для поиска:

Так выглядит кадр видео нового формата «изнутри»:

Вообще говоря, если просто перейти по ссылке, то скорее всего вы увидите обычное плоское видео Это связано с тем, что помимо VR180 видео на сайт загружена еще проекция одного из ракурсов (левого) на обычный прямоугольник.
В MP4 добавлены специальные мета-данные, которые превращают видео в сферическое. В основном, они имеют разрешение 4K. Чтобы увидеть картинку как на рисунке выше, нужно, например, скачать видео именно в чистом MP4 формате. Ну и, конечно же, в полноценном HMD. Возможность движения камеры гарантированно появляется при просмотре на мобильном устройстве с приложением Cardboard (Google Play, AppStore).

По сравнению с дорогими стереоригами это абсолютно новый уровень. Съемка таких видеороликов, по аналогии с картонными шлемами, тоже должна была получиться достаточно дешевой для широкого распространения среди пользователей. Камера, снимающая видео в таком формате, стоит в районе 300 долларов. Однако проблема в том, что новый формат — это стереоформат, а у стерео, как известно, существует масса сложно решаемых проблем. Казалось бы, все прекрасно.

Качество стерео в VR

Как только речь заходит про стерео (в просторечии 3D), сразу вспоминаются головные боли от походов в 3D кинотеатры. Мы рассматривали причины такого дискомфорта в большом цикле статей (раз, два, три, четыре, пять, шесть, семь) гораздо более подробно, но применительно к стереофильмам. Если коротко, то по некоторому ряду причин многие 3D фильмы снимаются (или конвертируются) так, что чувствительным к артефактам стереовидео зрителям остается только заблаговременно брать с собой цитрамон. К сожалению, большинство проблем в 3D фильмах связаны со стереоскопическими артефактами, которые также встречаются в VR180. Значит, все факторы, вызывающие дискомфорт в таких фильмах, также будут вызывать дискомфорт и при просмотре видео в виртуальной реальности. Даже базовая проверка качества контента VR180 показала, что оно сопоставимо с качеством обычных стерео примерно середины прошлого века…

Другими словами, энтузиасты будут в восторге, но массовый зритель будет жаловаться.

Его предназначение — предоставить авторам стереофильмов возможность отслеживать возникновение всех возможных артефактов на этапе post-production. Для анализа качества стереовидео использовался проект VQMT3D, разрабатываемый в видеогруппе лаборатории компьютерной графики и мультимедиа на факультете ВМК, МГУ. В приведенных далее примерах информация по кадрам получена с помощью VQMT3D. А поскольку VR180 — тоже стерео, то де-факто проект применим и к этому формату с некоторыми оговорками.

Искажения цвета

Данная проблема — самая простая для понимания и относительно простая для исправления. Закройте один глаз и посмотрите на какой-нибудь объект. Теперь сделайте то же самое с другим глазом и ответьте на вопрос: меняются ли цвета при смене глаза? В общем случае — нет. Так и в стереовидео не должно быть различий в цвете одних и тех же объектов для левого и правого ракурсов. Однако вот что мы видим в реальных видео, взятых на YouTube (обратите внимание на однотонные области, например, на небо или на воду):


Ссылка на видео

Поэтому, даже при идентичных параметрах съемки для одинаковых камер, цвета могут заметно разойтись. Искажения цвета могут возникать по многим причинам, например, из-за различной калибровки камер, нагрева их матриц или при засветке края объектива.

Наиболее удобно визуализировать этот артефакт с использованием «шахматки», когда правый ракурс приводится к левому с помощью компенсации движения, а затем выбираются блоки из левого и приведенного правого ракурсов в шахматном порядке.

Ниже пример, когда источники света попадают в кадр:


Ссылка на видео

Мало того, что сами источники света сильно различаются на ракурсах, так они еще и бликами искажают цвета на всем изображении.

Более жесткий пример, когда солнце попадает в кадр:


Ссылка на видео

Искажения цвета достаточно редко встречаются в реальной жизни, а артефакты указанного выше типа не встречаются вообще, что в итоге приводит к накоплению усталости при просмотре. По причине неудачной постановки камеры напротив солнца, возникает жуткий артефакт в виде красного блика на матрице. К сожалению, у наиболее чувствительной части зрителей усталость переходит в головную боль.

Различия по резкости

В реальной жизни данная проблема встречается довольно часто. Еще одна проблема, возникающая при съемке стереовидео, — различия в резкости в левом и правом ракурсах. При этом мозг достаточно успешно компенсирует эту проблему. Например, если вы просидите 10–12 часов за компьютером, напряженно всматриваясь в экран (согласитесь, такое бывает), то в конце дня правый и левый глаз могут заметно разойтись по фокусировке, и легкая близорукость/дальнозоркость до вечера обеспечена. Т. Условно говоря, мы получаем четкие детали изображения с правого или левого глаза для далеких/близких объектов. А утром, как правило, зрение восстанавливается. е., говоря инженерным языком, проблема штатно решается встроенными средствами. Получается, что «дальнозорким» становится то правый глаз, то левый, а иногда оба видят хорошо, что приводит к заметному дискомфорту при просмотре. И все бы хорошо, но в реальном стереовидео фокусировка может «скакать» от сцены к сцене. Особенно для людей в возрасте, у которых глаза уже «стационарно» разошлись по резкости.

Примеры расхождений для VR180, где для лучшей наглядности представлены увеличенные фрагменты одной и той же области для двух ракурсов:


Ссылка на видео

Вот другой фрагмент этого кадра:


Ссылка на видео

А из-за отсутствия профессиональной постобработки даже «вырвиглазные» сцены попадают на YouTube. Появление данного артефакта связано с расхождением фокусировки камер по техническим причинам.


Ссылка на видео

Обратите внимание на надпись «12 CH», которая будет дискомфортно «стробить» при просмотре. Почти все надписи на увеличенном изображении различаются по резкости.

Сдвиг по времени

Один глаз видит события, которые еще не произошли для другого глаза! Как ни странно, хотя ядра компьютеров давно и успешно синхронизируются на миллионные доли секунды, стереокамеры при съемке до сих пор расходятся во времени на сотые, а то и на десятые доли секунды. И этот артефакт также был найден в VR180. Нельзя даже придумать аналог для этой проблемы в реальном мире.

Обратите внимание на окно с неоновой вывеской в правой части кадра:


Ссылка на видео

Мерцающая вывеска бросается в глаза даже без использования специальных метрик, направленных на нахождение временного сдвига. Данный сдвиг по времени был замечен случайно при анализе расхождения по цвету, которое тут тоже присутствует. Просто-напросто левый кадр отстает от правого!

Посмотрите на стопы пешеходов: Вот еще пример из той же сцены.


Ссылка на видео

Мы проводили эксперимент, в рамках которого показали 302 зрителям короткие фрагменты стереофильмов с разными артефактами и просили после каждого фрагмента со смартфона/ноутбука заполнять форму с указанием уровня болезненности. Тут отчетливо видно, что на правом кадре нога передвинута дальше, чем на левом, будто бы один кадр отстает от другого на несколько мгновений, хотя они должны были быть сняты ровно в один и тот же момент. К сожалению, чаще всего распространен сдвиг менее, чем на 1 кадр, и его не так просто исправить. Сдвиг во времени показал себя как наиболее болезненный артефакт — это невозможная для головного мозга ситуация и попытка ее «обработать» приводит к явному ощутимому дискомфорту.

Впрочем, другие артефакты — это отдельная большая история, к которой мы еще, надеюсь, вернемся. Кстати, на примере выше невооруженным глазом виден еще и поворот кадра между ракурсами (особенно в левом нижнем углу), который также весьма дискомфортен, но исправляется намного проще.

Google «накосячил»?

Вполне могло показаться, что данные артефакты присущи видео, полученным при любительской съемке, и при правильном использовании те же камеры смогут дать хорошее изображение. К сожалению, это не так. Вот рекламный видео-ролик формата VR180, который расположен на официальной страничке по VR180. Казалось бы, он должен задавать эталон качества. Но если присмотреться…

Расхождения по цвету:

Как будто на одном из ракурсов ошибочно выставлен немного больший баланс белого. Абсолютно во всех точках есть искажение цвета.

Но правый нижний угол все равно заметно расходится по цвету, что вызывает характерное визуальное «стробление» при просмотре. А здесь уже большая часть кадра без искажений.

Его обнаружили просто при покадровом просмотре видео (похоже на обработку видео с разными параметрами). Примечательно, что искажение цвета на дороге тоже было замечено без специальных средств для анализа стерео.

Различия в резкости:

Наибольшее различие в резкости — именно на границах объектов. Здесь расхождение заметнее всего на полу и на швах дивана.

Заключение

Что мы имеем в итоге?

VR, в т. ч. 360-видео, активно распространяется. Технология привлекает пользователей и выглядит очень перспективной. Но техническое качество текущей реализации вызывает дискомфорт от просмотра. В итоге какое-то количество людей, заинтересованных в том, чтобы попробовать новый формат, получает головную боль, а при неудачной съемке (как правило, при резком движении камеры) — вдобавок головокружение и тошноту, что приводит к разочарованию в формате.

Что с этим можно сделать?

В данный момент многими (в том числе и нами) разрабатываются инструменты по контролю качества, а также по исправлению проблем стерео.

Вот, например, примеры исправления цвета:

Засвеченный ракурс целиком исправлен. Слева — исходные ракурсы, справа — скорректированные по цвету с помощью нашего алгоритма.

Цвет на потолке пришел в норму.

Больше примеров автоматического исправления цвета смотрите в отдельной статье, посвященной искажению цвета в стерео.

В дальнейшем планируется расширение методов контроля и улучшения качества VR видео: Всего на данный момент детектируется порядка 20 типов артефактов снятого и сконвертированного стереовидео, большинство из которых актуальны и для VR180.

  • адаптация текущих методов контроля качества под VR
  • дополнение и реализация методов исправления артефактов
  • составление автоматических отчетов по видео с предсказанием болезненности, вызванной просмотром, дабы предостеречь пользователей и отрейтинговать контент производителей, мотивировав их внимательнее относиться к качеству

Каковы перспективы формата в целом?

Очевидно, что текущие проблемы — проблемы младенчества технологии и они будут активно решаться. Можно ожидать, что:

  • производители камер в комплекте с камерой будут поставлять софт, решающий часть базовых проблем
  • со временем (при наличии спроса) появится профессиональный софт для исправления артефактов
  • весьма вероятно, что на YouTube будет реализовано исправление части артефактов автоматически при загрузке VR180 видео, примерно так же, как сейчас автоматически исправляется дрожание и интерлейсинг старых добрых 2D видео

Из забавного: сейчас возникла мода на смартфоны с 3-4 камерами с задней стороны, которые обеспечивают кардинальное повышение качества фотографий.


Источник: Samsung Galaxy A7 (2018) & Samsung Galaxy A9 (2018)

Логично ожидать, что при росте популярности VR180 его поддержка «из коробки» будет встроена во все основные модели смартфонов.

Вопрос только в росте популярности формата, чтобы спрос стал массовым, создав стимул к этому. Да, скорее всего угол зрения будет не 180°, а меньше.
Да, скорее всего качество будет хуже, чем у специализированных камер.
Да, съемка стереовидео потребует сжатия больших потоков информации (на что сегодняшние смартфоны все еще слабо рассчитаны).
Да, нужно будет ставить две широкоугольных камеры на бо́льшем расстоянии.
Но технически сегодня нет серьезных препятствий для реализации поддержки VR180 во флагманских моделях.

И понятно, что, когда съемку VR180 начнут поддерживать топовые смартфоны, количество соответствующих роликов на YouTube начнет расти лавинообразно.

По крайней мере, его не сравнить с тем, что можно было массово наблюдать в 2010–2011 годах во время прошлой волны. Также на выставках можно видеть автостереоскопические дисплеи смартфонов и планшетов, которые с повышением разрешения показывают все более и более интересное качество. Процесс идет и, поскольку растет разрешение экранов, заведомо будет идти все быстрее. Во время написания этой статьи был анонсирован RED Hydrogen One — первый СЕРИЙНЫЙ смартфон с 3D экраном нового поколения, так что появилась  возможность купить то, что профессионалы видели на выставках. Основное препятствие — это недостаток контента.

Очевидно, что эта проблема «курицы и яйца» скоро будет решена.

Общие выводы:

VR180 обладает следующими существенными плюсами:

  • Заметно выше погружение в 3D для VR180 по сравнению с 360-видео
  • Отсутствуют артефакты стичинга (склейки) видео с нескольких камер
  • Камеры для съемки VR180 достаточно дешевы и будут дешеветь
  • Съемка VR180 заметно ближе к съемке обычной камерой и намного проще для непрофессионалов, т. е. огромной массе любителей будет относительно просто снимать свое видео в формате VR180
  • Можно ожидать поддержки VR180 в смартфонах через какое-то время
  • Можно ожидать появления дешевых качественных автостереоскопических дисплеев смартфонов, которые позволят просматривать VR180 без очков и шлемов (на данный момент такие решения уже можно увидеть на выставках, и от массового выпуска их отделяет отсутствие контента)

Минусы VR180:

  • Дешевые камеры сейчас снимают плохое стерео, которое вызывает дискомфорт при просмотре
  • На данный момент отсутствуют доступные программы постобработки полученных видео VR180 и исправления артефактов. Проблемы можно решить с помощью профессиональных программ для исправления снятого стерео, но у них низкая доступность, высокая сложность использования, и массово они не применяются…

Итого:

  • Будущее VR180 очень сильно зависит от того, насколько оно будет болезненным при просмотре, поскольку, как показал опыт, головная боль от стерео может «убить» весьма многообещающие проекты
  • При увеличении популярности VR180 многие «детские проблемы», в том числе связанные со стерео, можно будет относительно легко решить даже без участия пользователей, просто на сервисе при заливке видео. Алгоритмически это уже возможно
  • Популярность формата упирается в проблему «курицы и яйца»: должно появиться достаточно устройств для съемки и просмотра. При этом в отличие от 360-видео VR180 технически скоро можно будет легко снимать на любом смартфоне. И если Google Pixel 5 XL будет поддерживать VR180 «из коробки» — это будет закономерно
  • Как следствие: в перспективе 10 лет VR180 обречен на популярность!

Всем поменьше головной боли!

Ваши Константин Кожемяков и Дмитрий Ватолин

P.S. Благодарности

Хотелось бы сердечно поблагодарить:

  • наших коллег из видеогруппы, благодаря которым представленные выше алгоритмы были созданы, а результаты посчитаны,
  • компанию Google за артефакты рекламного ролика VR180, а также за то, что она продвигает новые форматы несмотря ни на что,
  • Лабораторию Компьютерной Графики ВМК МГУ им. М.В.Ломоносова за вычислительные мощности и не только,
  • Виталия Людвиченко за разработанный алгоритм исправления цвета в стереовидео,
  • и, наконец, Александра Плошкина, Сергея Лаврушкина, Егора Склярова, Айдара Хатиуллина, Ивана Молодецких и Евгения Ляпустина за большое количество дельных замечаний и правок, сделавших этот текст намного лучше!

Смотрите также:

Теги
Показать больше

Похожие статьи

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Кнопка «Наверх»
Закрыть