Главная » Хабрахабр » Nvidia научила нейросеть замедлять видео

Nvidia научила нейросеть замедлять видео

В нашей жизни может быть много моментов, которые нужно записать на камеру в замедленном режиме – первые шаги ребенка, первая поездка на море, трюк любимой собаки. Современный смартфон позволяет снимать с частотой 240 кадров в секунду или выше, но постоянно в таком режиме записывать не получится — памяти не хватит, и батарея сядет быстро. Созданная Nvidia нейросеть работает с уже отснятыми видео, превращая их в замедленные.

Исследователи из Nvidia создали систему на основе глубинного обучения для переработки видеороликов с частотой 30 кадров в секунду в замедленные видео. Они использовали библиотеку глубинного обучения PyTorch и графические процессоры Nvidia Tesla V100 GPUs. Систему тренировали с помощью 11 000 видеороликов повседневной и спортивной активности, снятых с частотой в 240 кадров в секунду. Благодаря этому она стала предсказывать промежуточные кадры. Чтобы проверить точность технологии, исследователи использовали отдельную базу данных с видео.

Частота кадров повышается до 480 в секунду. Технология позволяет делать видео гораздо более плавными и менее размытыми, чем в случае обычного замедления скорости. Для демонстрации результатов команда сравнила замедленные ролики, снятые видеоблогерами The Slo Mo Guys, с теми же видео, замедленными новым способом.

Делает она это и вперёд по временной шкале, и в обратной последовательности для двух входных кадров. Первая нейронная сеть оценивает видеопоток — структуру движения, объектов, поверхностей и рёбер в сцене. Затем система предсказывает, как пиксели будут перемещаться из одного кадра в следующий, создавая 2D-векторы этих перемещений.

И система с помощью всех полученных данных искажает новые кадры между двумя выходными, чтобы обеспечить плавность перехода. Затем работает вторая нейросеть, которая предсказывает карту видимости – исключает те пиксели, которые должны быть перекрыты объектами, чтобы убрать артефакты.

Конечно, есть отличия между искусственно созданными замедленными видео и оригиналом, отснятым изначально с высокой частотой кадров. На видео можно сравнить результаты. Но если бы сравнивать было не с чем — отличить настоящее видео от «поддельного» было бы сложно. Это особенно заметно в сравнении с прыжком на надувной шар в бассейн от Slo Mo Guys на 54 секунде.

По их мнению, она ещё далеко до идеала и требует много ресурсов, в том числе временных. Команда пока не знает, как коммерциализировать свою разработку. Вероятно, даже если такая технология и будет реализована в качестве продукта, она не будет запускаться на устройстве пользователя — вычисления произойдут в облаке.

Метод позволяет убрать предмет с изображения, после чего система заменит пустой фрагмент на реалистичный фон, а также добавить глаза и другие части лица после удаления их с фото. В апреле специалисты из Nvidia показали другую технологию, добавляющую новые фрагменты к изображению – реконструкцию фотографий.

Ещё 25 тысяч новых масок использовали для проверки точности результатов после обучения. В процессе подготовки к тренировке нейросети исследователи создали более 55 тысяч масок из рандомных полос и отверстий разных размеров.

В процессе тренировки маски накладывались на изображения, чтобы помочь нейросети изучить, как нужно реконструировать недостающие пиксели.

Научная работа Super SloMo: High Quality Estimation of Multiple Intermediate Frames for Video Interpolation опубликована на сайте препринтов arXiv.org: arXiv:1712.00080.


Оставить комментарий

Ваш email нигде не будет показан
Обязательные для заполнения поля помечены *

*

x

Ещё Hi-Tech Интересное!

Кеширование данных — Java Spring

Многократно вычитывая одни и те же данные, встает вопрос оптимизации, данные не меняются или редко меняются, это различные справочники и др. информация, т.е. функция получения данных по ключу — детерминирована. Тут наверно все понимают — нужен Кеш! Зачем всякий раз ...

Что умеет СХД — или старые песни о главном

Пару дней назад позвонили мне коллеги с вопросом — старая дисковая полка совсем умирает (у них старый еще IBM), чего делать? Дисков нет, поддержки нет, денег нет зовут Олег. Что покупать, куда бежать, как дальше жить? На хабре же, кроме ...