Хабрахабр

[Перевод] Ремастеринг «Звёздного пути» нейросетями до 1080p и 4K

В качестве небольшого любительского проекта я поэкспериментировал с нейросетями AI Gigapixel для апскейла одного из моих любимых научно-фантастических сериалов — Star Trek: Deep Space Nine (DS9), в русском переводе «Звёздный путь: Глубокий космос 9».

Так же, как Final Fantasy 7, где я делаю апскейл фонов, текстур и видео в моде Remako, DS9 лишён планов на выпуск HD-версии. В то время как популярные сезоны Original Series и The Next Generation (TNG) в основном сняты на плёнку, DS9 снимался в середине 90-х годов с наложением визуальных эффектов (космические битвы и т. д.).

Ремастеринг сериала становится гораздо более дорогостоящим: это одна из причин, почему его не выпустили в HD. Аналоговую плёнку можно заново отсканировать с более высоким разрешением, но с цифровым видео такое не получится.

Я подумал, что здесь можно с пользой применить нейросети. С помощью таких инструментов, как AI Gigapixel, кадры низкого разрешения DS9 можно масштабировать до высокой чёткости: 1080p или 4K. Они никогда не сравнятся с хорошим ремастерингом, но это шаг в правильном направлении.

Результаты великолепны. Поэтому я попробовал на парочке кадров, что получается. Они хорошо подходят для апскейла рендеров видеоигр Final Fantasy, но также удивительно качественно отмасштабировали кадры и спецэффекты DS9. AI Gigapixel использует нейронные сети, обученные на реальных фотографиях.

Вот несколько примеров:


Оригинальное разрешение 480p (нажмите, чтобы увеличить)


Улучшенное разрешение 1080p (нажмите, чтобы увеличить)


Оригинальное разрешение 480p (нажмите, чтобы увеличить)


Улучшенное разрешение 1080p (нажмите, чтобы увеличить)

На первом наборе изображений обслуживающий персонал станции в скафандрах представляет собой лишь несколько пятен. Эти отдельные кадры выглядели многообещающе. После апскейла проявились гораздо более чёткие фигуры.

Морщины и складки на коже выглядят гораздо более детализированными, а бейсбольный мяч лучше демонстрирует блеск и замысловатую прошивку. Крупный план руки тоже улучшился.

Однако настоящая проверка — как нейросети справятся с последовательностью кадров, то есть видео. Появятся ли артефакты и другие проблемы? В конце концов, AI Gigapixel создана для апскейла отдельных изображений и не учитывает отношения между отдельными кадрами видео.

Это отличная серия про Войну Доминиона, где есть и эпические космические битвы, и более личные моменты лицом к лицу. Для проверки я решил обработать часть эпизода «Жертва ангелов» 6-го сезона.

Это обработка первых пяти минут эпизода (резюме, начальная сцена и вступление). Более подробно об этом процессе расскажу в будущих статьях, но если вкратце: извлечение и масштабирование кадров, а затем генерация из них нового видео заняла около двух дней. Вполне нормальное время для ПК среднего и высокого класса с общедоступным ПО.

Он выглядел лучше, чем я надеялся. Результат привел меня в благоговейный трепет. Поскольку (движущиеся) изображения стоят более тысячи слов, вот два видеоролика для сравнения. Никаких проблем и артефактов.

Первый демонстрирует ситуацию «до и после» на неподвижных кадрах.

Второй сравнивает два видео. Обратите внимание, насколько чётче выглядит улучшенная версия.

Настоятельно рекомендую смотреть эти видео через приложение YouTube на телевизоре, если это возможно. Это даёт лучшее ощущение, как будет выглядеть улучшенный DS9 непосредственно на ТВ.

Вот первые пять минут эпизода в полном объёме с разрешением 1080p: Сравнения — это хорошо, но как выглядит реальное видео?

Честно говоря, не знаю. Хотя я могу увеличить масштаб до 4K, у меня нет телевизора или монитора с таким разрешением, чтобы проверить улучшения. Тем не менее, я записал это видео. Интересно услышать мнение людей с оборудованием 4K, выглядит ли оно лучше по сравнению с версией 1080p.

Рендеринг почти расплавил мой компьютер, так как он намного интенсивнее, чем 1080p, поэтому ограничимся только этим примером 4K.

Поскольку я не владею правами на DS9, то не могу делать с сериалом что хочу. Я бы выпустил полные эпизоды, но это просто юридически невозможно. Данные видео служат скорее доказательством концепции, чтобы правообладатели из CBS взглянули на машинное обучение и нейронные сети для возможного ремастеринга DS9, который немного приблизит наш любимый фильм к эпохе HD.

Представьте, что может сделать профессиональная команда с мощным оборудованием, специально обученными нейронными сетями (возможно, обучив её на сезоне TNG — на наборе данных из оригинальных кадров и кадров после ремастеринга) и доступом к SD-исходникам вместо DVDRip, как у меня.

Ну а я со своей стороны могу более подробно рассказать о процессе апскейла, как я его проводил, что станет темой будущей статьи.

Дайте знать, что вы думаете об этом.

Теги
Показать больше

Похожие статьи

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Кнопка «Наверх»
Закрыть