Хабрахабр

[Перевод] iPhone XS: почему это совершенно новая камера

Отчёт стартапа, занимающегося приложением для улучшения фотосъёмки с iPhone

iPhone XS против iPhone X – изменения в камере на уровне железа

Пользователи, получившие раньше других доступ к iPhone XS, поделились с нами этой информацией, что позволило нам подробно описать спецификации железа. В последней версии нашего приложения мы сделали новую функцию, выводящую подробную информацию о том, на что способна камера вашего телефона.

Проведя анализ, мы можем выдать более подробный обзор того, что нового можно увидеть в камере iPhone XS, и больше подробностей о её технических возможностях, чем Apple пожелала раскрыть на презентации.

Это именно спецификации железа – притом, что Apple в основном концентрировалась на таких программных улучшениях, как Smart HDR и новый портретный режим.

Что нового?

Переделанные широкоугольные линзы

Линзы у iPhone XS and XS Max, использующиеся для большей части снимков, подверглись изменению, получив фокусное расстояние, эквивалентное 26 мм. Это на 2 мм меньше, чем у предыдущих моделей, iPhone 8 Plus и iPhone X, обладавших широкоугольными линзами на 28 мм.

Пользователь нашей программы и iPhone XS прислал нам фото, где видно разницу:

Новый сенсор

Наше приложение не может узнать размер сенсора, но все данные указывают на то, что в iPhone XS установлен новый сенсор. Джон Груббер подтвердил, что новый сенсор iPhone XS на 30% больше – а Apple утверждает, что размер пикселей на новом сенсоре для широкоугольной камеры составляет теперь 1,4 мкм, что на 0,2 мкм больше, чем у предыдущих.

Увеличение времени экспозиции до 1 секунды

iPhone XS и XS Max способны держать секундную экспозицию. Предыдущие iPhone могли держать экспозицию до 1/3 с. Эта способность может позволить делать всякие крутые фотографии с долгой экспозицией.

Увеличение диапазона ISO

Новый датчик – новый диапазон ISO, чуть шире, чем у iPhone XS. ISO теперь простирается от 24 ISO до 2304 ISO, что обеспечивает немного больше чувствительности при плохом освещении. Лучший из предыдущих датчиков iPhone выдавал только 2112 ISO.

Возможно, это означает, что при том же уровне освещённости мы увидим меньше шума. Телеобъектив увеличил ISO на 240, теперь его максимальное значение не 1200, а 1440, что говорит о небольших подстройках сенсора.

Изменения минимальной экспозиции

Увеличилась длительность минимальной экспозиции: на широкоугольной камере и телеобъективе эта величина поменялась с 1/91000 с на 1/22000 с и 1/45000 с, соответственно. Непонятно, что из этого следует – надо тестировать.

Сравнение полных списков технических подробностей:

Программные изменения

Мне было интересно, почему презентация от Apple концентрировалась на изменениях в программном обеспечении камеры, а не на её железе. Протестировав камеры iPhone XS, я понял, почему.

У iPhone XS не просто увеличен датчик: у него полностью переработана камера, и крупнейшим изменением стало то, что он полагается на вычислительную фотографию.

Умная камера

В Apple умны. Они видят, что от впихивания всё большего количества электроники в сенсор величиной с ноготь результатов получается всё меньше. Фотография – это наука о захвате света, она ограничена оптикой и физикой.

Мощные чипы в современных iPhone позволяют компании сделать кучу фоток – некоторые из которых делаются ещё до того, как вы нажимаете на кнопку затвора – и слить их в одну идеальную. Единственный способ обойти законы физики – это "вычислительная фотография".

Вот, что вы получите от камеры iPhone XS, и вот что делает её такой эффективной в ситуациях, когда вы обычно теряете детали из-за смешанного света или сильного контраста. iPhone XS сделает фото с увеличенной и уменьшенной экспозицией, сделает быстрые фотографии для заморозки движения и сохранит чёткость по всему кадру, и даже возьмёт лучшие части всех этих кадров, чтобы создать одно изображение.

Это полностью новая функция, кардинальное отличие от фотографий всех предыдущих айфонов. Это не небольшая подстройка Auto HDR на iPhone X. В каком-то смысле, совершенно новая камера.

Что это за «мягкий фильтр» для селфи?

Его не существует. Не хочу сказать, что люди что-то придумывают, чтобы продвинуться на YouTube, но заявлениям из интернета не стоит слепо верить.

Людям кажется, что iPhone XS смягчает изображение, по двум причинам:

  1. Улучшенное, более агрессивное уменьшение количества шума из-за слияния различных экспозиций.
  2. Слияние экспозиций уменьшает резкость, устраняя контраст между светом и тенью, получающийся на разных участках кожи.

Тут важно понять, как мозг воспринимает чёткость, и как художники заставляют вещи казаться чётче.

Нельзя добавить утерянных деталей. Всё работает не так, как в комедийных сериалах типа CSI, где детективы кричат «улучшить!» на экран. Однако можно обмануть мозг, добавив небольшие контрастные участки.

Локальный контраст заставляет вещи казаться более чёткими. Проще говоря, тёмная или светлая рамка рядом с контрастным светом или тёмной формой.

Для улучшения контрастности надо сделать светлые области светлее рядом с границей, а тёмные области темнее рядом с границей.

Детали остаются, но нам кажется, что изображение менее контрастное, потому что потерян локальный контраст. iPhone XS сливает изображения с разными экспозициями и уменьшает яркость ярких областей и делает менее тёмными тени. На фото выше кожа кажется более гладкой потому, что свет не такой резкий.

Шероховатые текстуры и практически всё тёмное – от кошек до углей – выглядит более гладким. Наблюдательные люди заметят, что это влияет не только на кожу. iPhone XS делает это агрессивнее, чем предыдущие айфоны. Это работает уменьшение количества шума.

Зачем нужно уменьшать количество шума?

Испытав iPhone XS вместе с X, мы обнаружили, что XS предпочитает более высокую скорость затвора и увеличенный уровень ISO. Иначе говоря, он делает фото быстрее, но из-за этого появляется шум.


iPhone X RAW


iPhone XS RAW

В этом формате не происходит удаления шума. В формате RAW можно заметить, что у iPhone XS (справа) шума гораздо больше. Почему же кадр XS должен быть таким шумным?

Помните ту презентацию с последовательностью кадров, показывающую, как работает камера айфона?

Чтобы получить чёткие и идеально выровненные изображения в таком количестве, айфону надо делать фотки очень быстро. Если только у вас не бионические протезы, вы не сможете так долго держать телефон без движения. Это требует более высокой скорости затвора – а это значит, что на изображении будет больше шума.

Его надо как-то удалить, и это накладывает свои ограничения: вместе с шумом удаляется немного деталей и локального контраста.


iPhone XS RAW – детали в отражении более «гладкие»


Smart HDR

Но по большому счёту более гладкими становятся селфи – особенно лица!

Железо фронтальной камеры хуже работает в низком освещении, чем у основной. Да. У камеры для селфи маленький сенсор размером с ноготь мизинца, поэтому в него попадает меньше света, а значит, больше шума и больше удаления шума.

В результате получается более гладкое изображение, и Smart HDR вкупе с конвейером вычислительной фотографии сглаживает его сильнее, чем раньше.

Обратная сторона медали в том, что селфи, которые обычно получаются хуже в смешанном или резком свете (а такова большая часть освещения) уже не размываются, и в большинстве случаев выглядят лучше, только немного более сглаженными.

0 склоняется к сглаживанию. Хорошие новости в том, что Apple может и это немного подстроить, если людям покажется, что сглаживание работает слишком сильно, но поскольку тут стоит выбор между плохим освещением с шумом и слишком большим сглаживанием, логично, что версия 1.

По поводу заявлений о том, что ПО по-особенному относится к лицам: я фотографировал лимон, шероховатую бумагу и делал селфи, и уровень сглаживания везде был одинаковым.

Так что, камера iPhone XS хуже?

Нет, камера его не хуже, чем у iPhone X. У iPhone XS камера лучше. У неё выше динамический диапазон, но это связано с некоторыми компромиссами в ПО. Если вам не нравится делать вещи новомодными способами, не волнуйтесь.


Подобный снимок нельзя было сделать на предыдущих айфонах

Профессионалы смогут вернуть контраст, немного подредактировав фотки; обратное уже не получится: в контрастном изображении детали уже потеряны. То, что делает Apple, лучше практически для всех случаев: обычные пользователи получат фото лучше, там будет больше деталей на свету и в тенях, без всякого редактирования.

Это прямо волшебство! Теперь можно делать селфи и фото при резком освещении, боговом освещении или другом, не выравнивающем свете, и получить приемлемый результат.

Есть только две небольшие проблемы.

Проблема подлинности

Камеры всё больше превращаются из простых инструментов в «умные устройства», использующие различные сложные операции для объединения нескольких изображений в одну, и мы задаёмся вопросом, смотрим ли мы на «неотредактированное» изображение.

Возьмём это фото Йосемитского национального парка:

Чтобы правильно экспонировать ландшафт, фотограф использовал долгую экспозицию. Оно отредактировано. Затем объединил два фото в одно. Затем снял звёзды с более короткой экспозицией, иначе бы они превратились в следы. Технически говоря, это подделка.

В этом есть определённая степень подделки. Вернёмся к iPhone: Smart HDR берёт разные экспозиции и сливает их вместе, чтобы получить больше деталей в тени и на свету. Сторонники чистоты фотографий могут возмутиться по этому поводу.


iPhone XS, Smart HDR


iPhone XS


iPhone X

Есть целый сабреддит, посвящённый хреновым HDR. Без Smart HDR очень сложно сделать HDR вручную так, чтобы изображение не выглядело подделкой.

У среднего изображения, с отключённым Smart HDR, всё ещё большой динамический диапазон, но оно кажется не таким «автоподстроенным».

Готов поспорить, что и в будущем она будет работать именно так. Так теперь работает камера на айфонах.

Apple улучшает динамический диапазон на лету, прямо в видео, поэтому вы всегда будете видеть «изменённое» изображение. Да, и это применимо к видоискателю любого приложения, делающего фотографию.

Проблемы с RAW

С практической точки зрения проблемы начинаются вот с чего: iPhone XS делает экспонирование совсем не так, как iPhone X. А это имеет огромное значение при съёмке в RAW.

Возьмём такой снимочек:


iPhone X RAW


iPhone XS RAW

Начав редактировать файл iPhone XS RAW, вы увидите, что светлые части изображения утеряны. Вы сразу заметите, что второе фото передержано.

Мы подозреваем, что для получения наилучшего фото для Smart HDR, камере просто приходится использовать меньшую экспозицию и более высокие значения ISO. Углубившись в детали, вы увидите вторую проблему: iPhone X делал экспозицию в 1/60 с и ISO 40, а iPhone XS делал экспозицию с 1/120 с и ISO 80.

RAW не только не получает преимуществ от слияния нескольких фото – фотографии iPhone получаются очень шумными на уровне ISO 200. Мы делаем приложение для камеры, чтобы получать фотографии в RAW, поэтому это очень плохо. Это шаг в неправильном направлении.

Ещё больше ухудшает ситуацию то, что сенсора iPhone XS шум получается чуть более активным и цветным, чем у iPhone X.

Это не мягкая зернистость плёнки, которую мы наблюдали у iPhone X и iPhone 8 в RAW. Такой шум не так-то просто убрать на постобработке.

Иначе ваш RAW получится хуже, чем JPEG от Smart HDR. На сегодня получается, что если снимать RAW на iPhone XS, придётся переключаться в ручной режим и уменьшать экспозицию. Как ни странно, RAW файлы от iPhone X выглядят гораздо лучше, чем от iPhone XS. От этого страдают все сторонние приложения для камеры.

Наше решение: Smart RAW

К счастью, это можно поменять. После выхода iPhone XS мы, работая по ночам и выходным, придумали решение того, как извлечь максимум из большего по размеру сенсора и его глубоких пикселей.

Smart RAW не использует никакие функции Smart HDR – он наоборот их избегает, чтобы вам практически не нужно было убирать шум. Мы сделали Smart RAW – функцию, использующую новую сенсорную технологию в iPhone XS, и делающую фотографии в RAW лучше, чем это мог бы сделать iPhone X.

Давайте посмотрим на фотографию с концерта First Aid Kit и сравним варианты с использованием Smart RAW и без него: Теперь, когда мы обошли проблемы с экспозицией iPhone XS, в файлах Smart RAW можно обнаружить удивительное количество деталей.


Без Smart RAW


Smart RAW

Вот несколько сравнений RAW-изображений, сделанных с iPhone XS и iPhone X. Гораздо лучше, чем у iPhone X.

Результаты удивительны: меньше шума, больше деталей.

При переходе от iPhone X к iPhone XS происходит удивительное увеличение разрешения и качества. Лучшая особенность Smart RAW: благодаря подстройке сенсора iPhone XS, мы получаем максимум качества в изображениях, больше, чем когда бы то ни было.

Smart RAW против Smart HDR

Вас может заинтересовать, как эту функцию можно сравнить с Smart HDR, поскольку съёмка в RAW подразумевает отсутствие HDR. Я сделал сложный по условиям экспозиции снимок, использовав Smart HDR и наш новый RAW:


Smart HDR


RAW

Без редактирования они получаются почти одинаковыми; возможно, Smart HDR чуть получше.

Вот те же фотки после редактирования: Но RAW – это только отправная точка.


Smart HDR


RAW после редактирования

Мне больше нравится, как выглядит RAW после редактирования – чуть наутральнее. Такого динамического диапазона, как у Smart HDR, мы не получили – обратите внимание, как там небо становится более голубым – но подошли довольно близко.

Но главное преимущество: детали.

Прекрасный пример – листья у дерева справа вверху: Я предпочитаю снимать в RAW из-за чёткости деталей, и на iPhone XS с его более крупными пикселями деталей стало больше, чем раньше.

Снимая в RAW, потом приходится поработать над снимком, но результаты часто того стоят. И так получается с большинством фотографий. Конечно, в этом изображении очень много света – необходимо проверить, что получается после захода солнца.

Чем меньше света, тем больше шума. В ситуациях с недостатком света существует компромисс. iPhone XS вместе с Smart HDR в штатном приложении для съёмки прекрасно справляется с такими снимками, но иногда у него получаются не самые чёткие фотки.

Smart HDR агрессивно его прячет, теряя в детализации. На фотографиях с недостатком света всегда будет много шума. Если вам нужно больше деталей и не мешает небольшой шум, попробуйте наш Smart RAW:


Слева Halide Smart RAW, справа iPhone Smart HDR

Присутствует шум в тенях, а кожа выглядит более грубой из-за меньшего размытия светлых и тёмных пятен, но детализация потрясающая, по сравнению с изображениями, сделанными в штатном режиме.

Smart RAW всё ещё находится в режиме тестирования, и потребуется набрать очень много фотографических свидетельств того, что он идеально работает во всех ситуациях.

Итоги

У iPhone XS появилась совершенно новая камера. Это не просто другой сенсор, это совершенно новый подход к фотографии, новый для iOS. Поскольку она так сильно полагается на слияние экспозиций и вычислительную фотографию, её изображения могут сильно отличаться от тех, что сделаны в тех же условиях на другие айфоны.

Это всего лишь первая версия iOS 12 и Smart HDR. Но, поскольку в отличие от предыдущих камер, её преимущества в качестве основаны на ПО, можно ожидать их улучшения и изменения.

Поскольку он так сильно отличается, к нему нельзя относиться, как к сенсору любого другого айфона, иначе вы получите неудовлетворительные результаты. Нам же, разработчикам, нужно обновлять приложения, чтобы в полной мере воспользоваться преимуществами нового сенсора в iPhone XS и XS Max.

Если вас не очень устраивают некоторые аспекты этого дивного нового мира вычислительной фотографии или особенности обработки изображений от Apple, вы можете отключить активную HDR-обработку в настройках камеры, или снимать в RAW.

После этого откройте камеру и в верхнем меню появится новая настройка HDR. Для отключения необходимо зайти в Settings → Camera, и отключить там Smart HDR. Нажмите на неё, чтобы отключить HDR.

Теги
Показать больше

Похожие статьи

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Кнопка «Наверх»
Закрыть