Хабрахабр

Виртуальный зал Эрмитажа — первый шаг к будущему по Пелевину

Изначально мы думали, что имеющиеся решения для переноса объектов в 3D (типа лазерных сканеров) будут отлично работать и вопрос исключительно технический. Мы застряли с оцифровкой зала Эрмитажа примерно на месяц. На деле оказалось, что эта область не очень-то проработана и подводных камней там море.

Российские разработчики попадают на эту конференцию с докладом впервые. За проект попали на конференцию FMX по иммерсионным технологиям и графике. Не то чтобы мы такие крутые, как Пиксар, просто агрегировали всё лучшее, что было на рынке, лучшие практики по фотограмметрии и опытным путём всё это применяли. Мы выступаем вместе с Пиксаром и ребятами, которые делали «Игру престолов». Оказалось, так ещё никто не делал.

Делов-то на пару дней, правда?
Но давайте начнём с того, что может быть сложного в оцифровке зала со статуей.

Задача

Есть музей Эрмитаж в Санкт-Петербурге.

А сами объекты безжалостно выставить в зал. У них 3-4 года назад появилась идея сделать цифровые копии объектов. Просто процесс затягивается. С точки зрения музейного работника, это почти то же самое, что уничтожить. На самом деле нет, но понимание, что копировать объекты нужно для сохранения их образов, оно есть.

Это типа как 3D-сканер, только совмещаются фотографии со всех сторон объекта (около 400 фотографий на статую), затем софт ищет похожие узлы, а затем строится облако точек. Мы сгоняли к ним в первый раз, сняли на фотоаппараты статуи, чтобы протестировать технику фотограмметрии.

Получилось криво и косо.

Прошло два, и Эрмитажу понадобился полностью цифровой зал. В общем, идею фотографий мы отложили на стадию «вернёмся, когда будет нормальный Data Mining, лет через пять».

Зачем Эрмитажу виртуальный зал?

Чтобы ярко показать себя на мировой арене. Если серьёзно, нам объяснили много умных вещей про роль технологий в современном музее и прочее, но мы поняли только то, что никто эту задачу толком решить нормально не может. А хочется сделать так, чтобы любой учащийся университета где-нибудь на Дальнем Востоке или в Италии смог посмотреть на прекрасное. Для этого ему выдадут очки виртуальной реальности и отправят в Эрмитаж. Виртуально. В первую очередь — в представительствах Эрмитажа. Уже показывали в Омске и Владивостоке.

На дядьку не посмотришь сверху, а теперь можно. Важно, что это интерактив — к статуе Юпитера в реальности не подойдёшь близко, а теперь искусствоведы смогут её разве что не облизать в VR. Ну и, конечно же, те, кто не может сам доехать до Эрмитажа, теперь прибудут в виртуальной реальности. И так далее.

Но начать надо с одного зала. Полная задача — оцифровать вообще весь музей. Надо так, чтобы было реально.

Мы начали применять другие подходы.

Художник рисует, деятель искусства плюётся. Сначала предложили рендер, как в играх. Понятно. Моделинг с нуля не подходит, потому что нужно произведение искусства греческого скульптора, а не современного моделлера.

Геометрию он даёт хорошую, но в цвет не попадает вообще. Попробовали лазерный сканер.

Сняли текстуры на камеру, совместили — вроде нормально.

Мы себе так и записали: нужно очень высокое разрешение либо очень высокая полигональная точность. Искусствоведам было крайне критично передавать мельчайшие нюансы формы статуи.

Начали опыты в офисе с разными камерами: пробовали зеркалки и даже арендовали среднеформатную PhaseOne с матрицей 100 мегапикселей. В итоге решили всё же использовать опорные замеры и фотограмметрию. Малейшее колыхание приводило к размытию картинки, и это вызывало дисторсии на моделях. Выяснилось, что проблема была не в камере, а в точности выбора точек. Проблема с шевелёнокой была в том, что мы снимали статую сверху с лестницы высотой 4 метра. Снимали мы на диафрагме 11, попробовали закрывать больше — дифракция и замыливания. А она качалась.

Начали считать. Сделали почти 17 тысяч фотографий.

Пришлось разворачивать отдельную инфраструктуру для облака точек и получения модели. Наши рабочие станции мощные, как бытовой обогреватель, но всё равно на них огромные сроки просчёта. Купили сервер GPU, развернули инфраструктуру на нём.

Получилось облако, которое надо было оптимизировать.

Зал оптимизировали четыре человека в течение двух месяцев.

Зачем оптимизировали?

VR — это штука, которая должна проигрываться не на супермощных девайсах. Есть три категории устройств для этого проекта:

  1. Игровые домашние ПК (максимум разрешения и качества) и музейные VR-установки.
  2. Школьные компьютеры. Под них уже пришлось оптимизировать так, чтобы качество не терялось. Это ручная работа, много времени.
  3. Мобильные устройства. Под них понадобилось сделать самые оптимизированные модели.

Оптимизация ещё связана с тем, что издалека плоскость видна как изгибы. Нам нужно было добиться оптимального восприятия — «как в реальном мире». За этим следили художественные критики и кураторы: всё в мире искусства оценивается по степени «да» или «нет» от них.

Что получилось?

Эрмитаж смог показать свой зал со своей статуей за границей на важных выставках и дать возможность школьникам приобщиться к обнажённой натуре. Кстати, шутки про то, как мы месяц оптимизировали ж… спину Юпитера, сразу отставьте. А на другом месте у него повязка, и это очень спасло нашу психику.

Теперь их можно виртуально возить по миру. Зал и статуи нетранспортабельны (точнее, статую возить невероятно нежелательно). Эрмитаж уверенно конкурирует теперь с Лувром, потому что музей для всех — и это очень круто.

Дальше — грубее, ближе — лучше. Хайпольная модель после оптимизации состоит из 120 тысяч полигонов (у неё 3 степени детализации в зависимости от расстояния до зрителя, минимум 12 тысяч полигонов).

Есть с соплями, чисто сканированные без оптимизации, кривые и косые в разных местах. В итоге получилось, что нет других проектов, где бы целый зал был оптимизирован под ВР. В общем, у нас самый качественный в мире на сегодня. Но цельного работающего нет. Потому что единственный такой полный.

Да, первый зал был очень долгий, 4 месяца с лишним. В реальном мире с трепещущими людьми и качающимися лифтами для камер без миллиардов затрат на это — очень круто. Но мы наступили на все грабли, отработали методологию и готовы уже делать зал примерно за 1,5–2 месяца.

После того как Эрмитаж начал распространять VR-тур (бесплатный), во Владивостоке кое-кто ушлый начал продавать билеты на посещение зала Эрмитажа в виртуальной реальности. А, ну и момент из российской реальности.

Теги
Показать больше

Похожие статьи

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Кнопка «Наверх»
Закрыть