Хабрахабр

AR — Дополненная Реальность (статья плюс ролик)

После пришла эпоха смешных масок, которые делали из нас котиков, зайчиков и Леонардо Ди Каприо. По-настоящему широкая публика столкнулась с ней, когда Гугл захотел повесить нам на нос свои умные очки. А недавно Эппл показала ARKit, а Гугл — ARCore, и значит нас вот-вот накроет новая волна игр и приложений с применением дополненной реальности, возможности которой гораздо шире и полезнее для общества, чем ловля слоупоков. Затем покемоны захватили обе реальности и заставили наматывать километры.

В ней нет подробного описания технической стороны, зато есть история развития ЭйАр, ссылки на упоминающиеся разработки и множество интересных иллюстраций. Это популяризаторская статья.

Очень много картинок!

Что такое ЭйАр

Дополненная реальность — это среда, в реальном времени дополняющая физический мир, каким мы его видим, цифровыми данными с помощью каких-либо устройств — планшетов, смартфонов или других, и программной части. Например, Google Glass или шлем Железного Человека. Системы прицеливания в современных боевых самолетах — это тоже дополненная реальность.

Дополненную реальность (augmented reality, AR) надо отличать от виртуальной (virtual reality, VR) и смешанной (mixed reality, MR).

В дополненной реальности виртуальные объекты проецируются на реальное окружение.

Виртуальная реальность — это созданный техническими средствами мир, передаваемый человеку через (пока что) органы чувств.

Смешанная или гибридная реальность объединяет оба подхода.

Выходит, что ВиАр взаимодействует лишь с пользователями, а ЭйАр — со всем внешним миром. То есть, виртуальная реальность создает свой мир, куда может погрузиться человек, а дополненная добавляет виртуальные элементы в мир реальный.

История ЭйАр

Как многие другие интересные исследования, история манипуляций с реальностью начинается в научной фантастике. Автор «Волшебника страны Оз» Лайман Фрэнк Баум в романе «Главный ключ» описал некое устройство, способное помечать в режиме реального времени людей буквами, указывающими на их характер и уровень интеллекта. Примитивные инструменты дополнения реальности были известны задолго до того: это и маски, которые надевали римские лучники, чтобы лучше целиться, и подзорные трубы с нанесенными метками расстояний и так далее.

Отцом виртуальной реальности считается Мортон Хейлиг. Но история дополненной реальности, какой мы ее знаем сейчас, берет начало из разработок, касающихся ВиАр. 28 августа 1962 года он запатентовал симулятор Sensorama. Он получил это звание за исследования и изобретения, сделанные в 1950-х и 60-х годах. Сам Хейлиг еще называл его театром погружения.

Обоснование ее существования давалось такое: Патент описывает виртуальную технологию, в которой визуальные образы дополняются движениями воздуха и вибрацией.

«Сегодня постоянно растет спрос на методы обучения и тренировки людей таким способом, чтобы исключить риски и опасность реальных ситуаций»

Это было устройство ранней версии виртуальной реальности, а не дополненной, но именно оно дало толчок к развитию обоих направлений. Хейлиг даже изобрел специальную 3Д-камеру, чтобы снимать фильмы для Сенсорамы.

И это была первая система уже именно дополненной реальности на основе головного дисплея. А вот в 1968-м году компьютерный специалист и профессор Гарварда Айван Сазерленд со своим студентом Бобом Спрауллом разработали устройство, получившее название «Дамоклов Меч».

Очки были настолько тяжелыми, что их пришлось крепить к потолку. Конструкция угрожающе нависала над испытуемым, отсюда и название. В очки со стереоскопическим дисплеем транслировалась простая картинка с компьютера. Перспектива наблюдения за объектами менялась в зависимости от движений головы пользователя, поэтому понадобился механизм, позволяющий отслеживать направление взгляда. Для того времени это был фантастический прорыв.

Следующим шагом было создание Майроном Крюгером лаборатории с искусственной реальностью Videoplace в 1974-м году.

В Видеоплейсе использовались проекторы, видеокамеры и другое оборудование. Его основной целью было избавить пользователей от необходимости надевать специальные шлемы, очки и прочие приспособления для взаимодействия с искусственной реальностью. Их движения записывались на видео, анализировались и переводились в силуэты искусственной реальности. Люди, находясь в разных комнатах, могли взаимодействовать друг с другом. Хотя правильнее было бы назвать это проектом интерактивного окружения. Пользователи видели, как их силуэты взаимодействуют с объектами на экране и это создавало впечатление, что они часть искусственной реальности.

В EyeTap использовалась камера и дисплей, дополняющий среду в режиме реального времени. Спустя четыре года, в 1978-м, Стив Манн придумал первое приспособление для ЭйАр, которое не было прикручено к потолку. Это изобретение стало основой для будущих проектов, но массово не использовалось.

Там ЭйАр до сих пор используется таким образом. Первое массовое использование дополненной реальности стало возможно благодаря Дену Рейтону, который в 1982-м году использовал радар и камеры в космосе для того, чтобы показать движение воздушных масс, циклонов и ветров в телепрогнозах погоды.

Перед ним и его коллегой поставили задачу: снизить затраты на дорогие диаграммы, которые использовали для разметки заводских зон по сборке самолетов Боинг. В 90-е поиск новых способов использования продолжился, а ученый Том Коделл впервые предложил термин «дополненная реальность». Это позволило не переписывать обозначения каждый раз вручную, а просто изменять их в компьютерной программе. И решением стала замена фанерных знаков с обозначениями на специальные шлемы, которые отображали информацию для инженеров.

Дальше развитие происходило стремительно. Скачок, сделанный в производстве микропроцессоров, и, как следствие, во всем технологическим секторе, позволил сильно ускорить работы.

В 1993-м году в университете штата Колумбия Стив Файнер представил систему KARMA (Knowledge-based Augmented Reality for Maintenance Assistance, переводится примерно как «Интерактивный помощник по обслуживанию»), позволявшую через шлем виртуальной реальности увидеть интерактивную инструкцию по обслуживанию принтера.

А вот в 95-м Джун Рекимото собрал Navicam — прототип мобильного устройства дополненной реальности, какой ее сейчас знают пользователи смартфонов. Навикам представлял собой переносной дисплей с закрепленной на обратной стороне камерой, чей видеопоток обрабатывался компьютером и, при обнаружении цветной метки, выводил на экран информацию об объекте.

Он описывает реальные и виртуальные объекты с помощью плоских меток наподобие QR-кодов. В 96-м году Джуном Рекимото и Южди Аятцука был разработан Матричный Метод (или КиберКод). Например, положить на пол листок с кодом, навестись на комнату камерой — и вот у вас в комнате стоит динозавр. Это позволяло вписывать виртуальные вещи в реальный мир, просто перенося метки.

Во время матчей на картинку с камеры, обзорно показывающей игровое поле, добавлялись технические линии и информация о счете. В 98-м году НФЛ впервые использовала дополненную реальность, разработанную компанией Sport Vision, в прямой трансляции спортивных игр. О «волшебной желтой линии» есть старый сюжет.

В 99-м НАСА применила систему дополненной реальности в приборной панели космического аппарата Икс-38, который научился отображать объекты на земле вне зависимости от погодных условий и реальной видимости.

В ней использовалась система распознавания положения и ориентации камеры в реальном времени. И в том же году Хироказу Като создал открытую библиотеку для написания приложений с ЭйАр-функционалом ARToolKit (еще на Гитхабе). Это позволяло стыковать картинку реальной и виртуальной камер, что давало возможность ровно накладывать слой компьютерной графики на маркеры реального мира.

Можно сказать, что с релизом первой версии этой библиотеки начался современный этап активного развития дополненной реальности.

Как работает дополненная реальность

Если откинуть совсем уж древние реализации, то ЭйАр — это распознавание образов и отслеживание маркеров.

Если приложение должно распознавать стол, то достаточно загрузить на сервер библиотеку фотографий столов, обозначить общую структуру, цвет, произвольные параметры и присвоить этому набору данных определенное действие при обнаружении на картинке. С распознаванием образов все более-менее понятно.

Маркерами могут выступать как специально напечатанные изображения, так и любые объекты. Вторая часть — это отслеживание маркеров.

В этом случае сама обложка и есть маркер. Обложку журнала приложение распозна́ет по простой форме с прямыми углами и конкретному рисунку, и будет отслеживать ее положение в пространстве, отмечая смещение относительно фона.

Допустим, мы хотим примерить автомобилю новые диски. Со специальными маркерами все обстоит еще проще. Еще один пример: мы кладем метку на пол и приложение понимает, что эта плоскость и есть пол, и разместит на нем произвольные объекты. Для этого нам достаточно наклеить на диски QR-метки и система автоматически поймет, что именно в этих местах следует вставлять в картинку изображение новых колес.

Но маркеры везде не налепишь, а сделать уникальный маркер под каждую ситуацию и унифицировать всю систему слишком сложно.

Здесь на выручку приходит SLAM — метод Одновременной Локализации и Построения Карты, используемый для построения карты в неизвестном пространстве с одновременным контролем текущего местоположения и пройденного пути.

В упрощённом виде, Слэм — это способ распознавания окружения и местоположения камеры, путем разложения картинки на геометрические объекты и линии. Звучит сложно. Таким образом, условное здание раскладывается на плоскости стен, окна, грани и прочие выделяющиеся элементы. После чего каждой отдельной форме система присваивает точку (или много-много точек), фиксируя их расположение в пространственных координатах на последовательных кадрах видеопотока. Благодаря тому, что алгоритм позволяет запоминать положение точек в пространстве, вернувшись в эту же комнату из другой вы увидите точки на тех же местах, где они и находились ранее. А условная комната — на плоскости (пол, потолок, стены) и объекты внутри.

Особенно сильный толчок этот метод получил после того как производители смартфонов начали встраивать дополнительные камеры для расчета глубины резкости в свои аппараты.

Скорее, это инструмент, который намного лучше подходит для ориентации систем дополненной реальности в пространстве. Не стоит думать, что Слэм — это продвинутая версия обычного распознавания образов и отслеживания маркеров. Но намного хуже подходит для опознания, например, медведя на картинке. Он дает приложению понять, где находится пользователь.

Что приводит нас к современной ситуации. Для максимальной эффективности оба подхода объединяют для конкретной задачи.

Настоящее: от очков к телефонам

В самом начале развития ЭйАр было понятно, что ее успех будет зависеть от того, насколько удобно будет нашим глазам.

Но Кэмерон сильно опередил время, т.к. Еще в 1984-м году в фильме «Терминатор» Джеймса Кэмерона была визуализирована концепция дополненной реальности и компьютерного зрения. Идеалом виделись форм-факторы контактных линз или очков. встроить ЭйАр прямо в глаз в те годы не представлялось возможным даже в смелых фантазиях. С годами к ней окончательно прилип и второй вариант реализации: с помощью ставших вездесущими смартфонов. Первое и сейчас лишь на стадии концептов, а вот по мере удешевления и появления более тонких производственных процессов форма очков становилась все ближе.

Несмотря на то, что именно они многим первыми приходят на ум, когда речь заходит о дополненной реальности, к таковой эти очки отношения почти не имели. Самым громким событием дополненной реальности последних лет стали вышедшие в 2013-м году очки Google Glass, с которыми есть небольшая путаница. Разве что навигацию можно причислить к ЭйАр-контенту, но и она была реализована в стиле карт для телефона, а не каких-нибудь висящих над дорогой стрелок. Виртуальная среда практически не взаимодействовала с реальной.

Зато очки умели делать фото и снимать видео по команде, с автоматической отправкой в облако. Этот не ставший массовым эксперимент все же сделал свое дело: запустил волну, дав понять другим компаниям, что можно всерьез приниматься за разработку устройств дополненной реальности для масс.

Правда, только для разработчиков и журналистов. Эстафету тут же приняла Майкрософт, через пару лет завуалированно анонсировавшая (а в 2016-м и представившая) очки смешанной реальности Hololens. Но в интернете много восторженных обзоров, где люди делятся своим опытом взаимодействия с виртуальной средой. Продукт сложный, его до сих пор разрабатывают.

У очков четыре камеры, с помощью которых они анализируют комнату и совмещают виртуальные объекты с реальным миром. Хололенс не требуют подключения к другому ПК или телефону.

Очки запоминают помещение, поэтому, когда пользователь возвращается в ту же самую комнату, все окна приложений и прочие элементы смешанной реальности ждут его на своих местах. Очки позволяют практически полноценно работать с Windows 10, причем, название «Виндоус» обретает новый смысл: окна системы легко вешаются на стены на манер, собственно, окон.

Сейчас существует около десятка наиболее перспективных разработчиков и продуктов для дополненной реальности в форм-факторе очков: Vuzix, Sony, ODG, Solos.

Это — компания Magic Leap. Но один производитель подобрался наиболее близко к тому, что может быть не только технологично, но и удобно.

Первое концепт-видео

Никто за пределами узкого круга инвесторов не знал, чем эта компания привлекла такое внимание и что у нее за продукт. Запустившись в 2010-м году в атмосфере абсолютной секретности, она уже через пару лет собрала инвестиций более чем на полмилллиарда долларов от таких гигантов как Гугл и Куалком.

А позднее было официально объявлено: компания работает над продвинутой версией очков дополненной реальности, которые на голову сильнее Гугл Гласс и Хололенс. Но информация все-таки просочилась. Несмотря на то, что компанию больше интересует индустрия развлечений, чем прикладное применение, на сегодняшний день она является лидером в удобстве пользовательских интерфейсов. И, в отличие от других производителей, в Мэджик Лип равное внимание уделяют как железу, так и ПО и интерфейсам.

Это удобство, готовая техническая база, широкая распространенность устройств и простота написания ПО. Но пока ЭйАр в основном встречается в телефонах.

То есть — развлечения. Заточенные под фото для соцсетей приложения предлагают примерно одни и те же функции: маски и помещение персонажей в пространство. Но все больше компаний понимают важность этой ниши и представляют более утилитарные приложения:

AirMeasure — виртуальная рулетка, способная определять расстояния и размеры в 3д-окружении;

Google Translate умеет переводить текст, который видит камера, в реальном времени;

Sun Seeker помогает увидеть траекторию солнца на местности в любой день года;

Google Sky Map помогает узнать, какие звезды сейчас видно на небе.

Именно в мобильном сегменте сейчас сконцентрированы самые интересные ЭйАр-стартапы для массового рынка:

YouAR
6D
Selerio
Ubiquity6 и другие.

А одной из наиболее инвестирующих в технологию компаний является Фейсбук, который обкатывает новые идеи на своей массивной пользовательской базе.

Развлечения

Главная мобильная сфера, где себя нашла Дополненная Реальность — это, конечно же, развлечения.

Но вы когда-нибудь задумывались, что отображение количества патронов, здоровья и аптечек — это тоже дополненная реальность, только для вашего персонажа? Вы наверняка играли в шутеры от первого лица.

Он так и назывался: ARQuake. В начале 2000-х вышел ЭйАр-порт легендарной игры Квейк.

Например, в игре Father. В наше же время можно и самому стать героем шутера. Такие проекты появляются все чаще. IO.

Попробуйте его ночью в каком-нибудь подвале — не забудете. В 2014-м вышла игра Night Terrors, один из первых популярных ужастиков в дополненной реальности.

Дополненная реальность, геотрекинг и популярная вселенная — все сложилось настолько удачно, что Покемон Гоу скачали более ста миллионов человек. В 2016-м студия Nyantic выпустила наследницу своей игры Ingress и самую главную ЭйАр-игру, вероятно, на много лет вперед: Pokemon Go. Покемон Гоу уникальна еще и тем, что заставила миллионы людей гулять на свежем воздухе. Игра быстро стала феноменом и начала собирать вокруг себя скандалы, в том числе в России.

Настольные игры получили новую форму благодаря технологии.

Исследовательские группы уже занялись сбором данных о том, как маленькие дети взаимодействуют с играми и приложениями дополненной реальности, и каким образом это влияет на их восприятие реального мира. Такие компании как Лего и Дисней активно ведут разработку игр с использованием ЭйАр, а намерения к ним присоединиться выразили практически все крупные производители игрушек. Возможно, в будущем самые интересные идеи по развитию технологии будут звучать от тех, для кого эта самая технология была просто частью детства.

А благодаря колоссальным объемам данных, добровольно передаваемых людьми компаниям-разработчикам, технология в связке с машинным обучением делают шаги в сторону более серьезных областей. Именно развлечения сегодня развивают исследовательскую базу дополненной реальности.

От развлечений к реальной жизни

Справочная информация, объявления и виртуальные указатели обязательно войдут в наше виртуальное пространство. Виртуальный экскурсовод проведет нас по развалинам замка, да еще и покажет сценку, как именно этот замок развалили, и каким он был до того. Ну а социальные функции, вроде фильтра по статусу «в активном поиске», помогут найти вторую половинку прямо в толпе.

Вот уж какая сфера спит и видит скорейшее внедрение дополненной реальности в повседневную жизнь. Ну и реклама. ЭйАр появилась даже в печатных изданиях. А свежесть и новизна формата обеспечат вау-эффект. Например, в выпуске Эсквайра 2009-го года нужно было отсканировать обложку, и тогда на ней оживал Роберт Дауни младший.

Еще раньше ЭйАр и печатные издания скрестила БМВ, выпустившая в нескольких немецких журналах рекламу модели MINI, которая на экране становилась трехмерной и позволяла себя рассматривать со всех сторон.

Для того, чтобы с вами начала разговаривать этикетка бутылки, сегодня не нужно даже пить. А обложки, к слову, есть не только у журналов и книг.

Даже граффити не осталось в стороне от ЭйАр-технологий. Коммерческие возможности дополненной реальности настолько обширны, что сложно очертить границы.

ЭйАр может использоваться для быстрой примерки в магазинах: идея зайти в мебельный и тут же на тестовом стенде собрать себе комнату с мебелью и бытовой техникой, пользуясь подсказками по сочетаемости, напрашивается сама собой.

Примерить мебель из каталога прямо к интерьеру своей комнаты оказалось крайне заманчиво. Более интересную и полезную идею воплотил маркетинговый отдел Икеи еще в 2014-м.

Вдохновляют возможности ЭйАр в сфере образования.

Образование

Технология может занять ту нишу, которая в научной фантастике отдана голограммам. Только голограммы будут еще не скоро, а устройства вроде Хололенса технически почти готовы. Перспектива увидеть в вузах, а после и школах, виртуальные интерактивные иллюстрации, которые можно рассмотреть со всех сторон, с которыми можно взаимодействовать и тут же видеть результат своих опытов, представляется прекрасным далёко из светлых фантазий о будущем. Обучение любым инженерным специальностям может стать куда более наглядным и легким для понимания.

Еще одна важная сфера — медицина.

Медицина

Тут прямо глаза разбегаются от возможностей. Кроме максимально наглядного обучения студентов медвузов, сразу представляется визуализация данных прямо на пациенте, вместо расставленных вокруг экранов. УЗИ станет максимально наглядным. Ну и будущая мама будет счастлива получить на телефон трехмерного ребеночка, которого будет с радостью крутить и рассматривать, выискивая сходство того с отцом и собой.

Но одно дело УЗИ, которое не требует оперативного вмешательства, и другое — опасные для жизни пациентов операции, где наглядность может помочь врачу быстрее реагировать и точнее работать.

А заодно — и одна из знаковых демок для майкрософтовского шлема. Наглядную анатомию в дополненном пространстве демонстрирует HoloAnatomy для Хололенса, который как раз и про медицину, и про образование.

Менее драматично, но не менее полезно — помощники для слепых и глухих, сообщающих первым о предметах и событиях вокруг и показывающие субтитры вторым.

Система привязана к приложению для смартфона. Например, стартап Aira одновременно предлагает нейросетевого помощника, распознающего и проговаривающего всё, что видит камера очков, и живого сотрудника стартапа, что поможет сориентироваться по той же камере в особо сложной ситуации. Но постоянно созваниваться с ними нет нужды: голосовой ассистент Аиры распознает тексты и образы, перекрывая множество повседневных городских задач. Пользователь по подписке получает очки с камерой и возможность транслировать изображение с них дежурящим сотрудникам поддержки. Логично, что по мере развития компьютерного зрения надстройка с живыми сотрудниками будет все менее актуальна, но сегодня это хороший компромисс из человеческих и компьютерных ресурсов.

У военных. Ну и: у кого бюджеты больше, чем у рекламщиков и игроделов?

Военные технологии

И если системы наведения в боевых истребителях, дронах и танках для армии — это сегодня дело обычное, т.к. именно из ранних систем дополненной реальности для летчиков и росли другие военные проекты в этой области. Например, продвинутые системы дополненной реальности для пехоты, которые будут внедряться уже через пару лет.

Официальная фантазия армии США

0: сильно усовершенствованный прибор ночного видения, который также выполняет функции тепловизора и проецирует в монокль на шлеме целеуказатель, показывающий куда попадет пуля при текущем положении ствола. В американской армии уже сегодня используется система HUD 1.

Баллистический калькулятор от компании TrackingPoint, фактически заменяет снайперу, ну или любому желающему, напарника-споттера. Облегченные полуаналоги таких систем уже более пяти лет доступны на рынке.

0, который должен выйти в следующем году. На очереди — HUD 3. А это уже заявка на удешевление военных учений. Он будет иметь возможность накладывать на реальную картинку полностью цифровые слои местности, модели зданий, планы этажей, позиции врагов и даже самих врагов. Военные игры обходятся государственным бюджетам в колоссальные суммы каждый год, а с помощью систем дополненной реальности солдаты смогут тренироваться с условным противником не покидая пределов базы.

Российская армия разрабатывает похожие системы для саперов.

Например, микроволновки, тефлон и интернет. Конечно, хотелось бы, чтобы технологии получали развитие не благодаря военным проектам и интересам, но если вспомнить историю, то многие изобретения находили широкое мирное применение, несмотря на военные корни и прошлое.

Будущее

Резюмируя, дополненная реальность — это не только игры и селфи с виртуальными масками. Это гигантское количество возможностей для коммерческого применения, новые горизонты в образовании, промышленности, медицине, строительстве, торговле и даже туризме. И дальше должно быть только интереснее.

Ей, в отличие от виртуальной реальности, необязательно опираться на специализированное железо и громоздкие устройства. Коммерческий рост ЭйАр поразителен. Технология прекрасно работает на самом массовом носимом девайсе — смартфоне.

Сейчас это уже реальность. Дополненная реальность уже меняет наше настоящее: виртуальные маски, охота за покемонами по городам и болотам, дети, стреляющие друг в друга не из деревяшек, а через экран телефона.

Автопроизводители (пока лишь Хендай, БМВ и Ауди, но список растет) начинают выпускать приложения-дополнения к пользовательским инструкциям, помогающие владельцам наглядно изучить свой автомобиль. Следующий шаг — массовый выход ЭйАр из зоны развлечений и соцсетей в сектор информационной поддержки. Амазон думает над тем, чтобы облегчить жизнь покупателям: понравились кеды на прохожем — навел на того телефон и тут же заказал себе такие же. Все больше производителей техники начинают выпускать приложения для ремонтных мастерских, которые помогают мастерам ориентироваться во внутреннем устройстве сложных приборов.

Даже у технологических гигантов нет ясной картины дальнейшего развития дополненной реальности. Сегодня мы с вами живем во время бурных исследований в отрасли. Это время непрерывного рождения идей, нахождения неожиданных способов применения и осознания всей мощи этой фантастической когда-то технологии — дополненной реальности.

Ролик

Эту статью об ЭйАр я подготовил для Хабра, но изначально мы делали ролик. В нем закадровый текст с техническими, историческими и просто красивыми иллюстрациями.

Показать больше

Похожие публикации

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Кнопка «Наверх»