Хабрахабр

[Перевод] Внутренности камеры iPhone 11, часть 1: совершенно новая камера

И вы могли заметить, что изменения, произошедшие в оборудовании, были довольно скромными. В прошлом месяце мы уже писали о том, что нового в железе и программном обеспечении камер iPhone 11 и 11 Pro. Всё внимание было уделено программной обработке изображений.

Я потратил некоторое время на изучение процесса получения изображения у iPhone 11, и, судя по всему, это одно из самых значительных улучшений, связанных с камерой, в линейке iPhone 11.
И это действительно так: впечатляющие улучшения качества снимков в новых iPhone стоит отнести в основном на счёт программных усовершенствований.

Что такое фотография?

Звучит так, будто мы решили сначала удариться в философию, или пишем сценарий для рекламы фотографии на iPad. Но чтобы подчеркнуть уникальные особенности камеры iPhone 11, нам нужно сначала понять, чего мы можем ждать от фотографии.

И это не пренебрежительное замечание в вашу сторону, дорогой читатель: когда вы нажимаете пальцем на кнопку спуска, iPhone 11 для уменьшения воспринимаемой задержки, берёт фотографию, уже сделанную им ещё до того, как вы прикоснулись к экрану. Уже довольно долгое время ваши фотографии делаете не вы.

Когда вы нажимаете на спуск, iPhone 11 выбирает самый резкий снимок из этого буфера. Это делается за счёт своеобразного кольцевого буфера из фотографий, начинающего работать, как только вы открываете приложение Camera. Нет, нет – вы просто намекнули, помогли камере выбрать одно фото из множества тех, что она делает сама. И сохраняет фото, которое, как думает пользователь, ничего не знающий об этом подлоге, он сделал сам.

И без ваших действий фотографии бы не было. Вы, конечно, можете заявить, что это всё равно был намеренный шаг.

iPhone 11 делает множество снимков – как говорят в презентации от Apple, дофига – и интеллектуально совмещает их. Однако полученное фото не является результатом единственной экспозиции.

HDR – это "расширенный динамический диапазон", и много десятилетий он служил недостижимой мечтой технологии фотографии. В прошлом году в iPhone XS появился режим Smart HDR, комбинировавший передержанные и недодержанные фотографии, чтобы гарантировать повышенную детализацию на фрагментах снимка, которые оказались в тени, или сильно пересвеченными.

Умный HDR становится ещё умнее

С тех самых пор, как люди впервые нанесли галогенид серебра на пластину, чтобы получить фотоснимок, мы разочаровывались ограниченными возможностями фотографии по фиксации деталей в ярких и тёмных областях изображения.

Изображение справа похоже на то, что видит глаз.
Сложно подобрать правильную экспозицию сразу и для фона и для самого здания.

У них есть примерно 20 ступеней экспозиции динамического диапазона. Наши глаза на самом деле неплохо с этим справляются. У iPhone 11 их около 10. Для сравнения, одна из новейших и величайших фотокамер, Sony A7R4, способна воспринимать 15 ступеней.

Приходилось хитрить и изворачиваться, чтобы проявить фотографию так, чтобы её можно было напечатать. Задолго до цифровой эры фотографы, использовавшие плёнку, сталкивались со сходными проблемами при переходе от плёночного негатива (13 ступеней) к бумаге (8 ступеней).

Этой фотографии требовалась олдскульная обработка, чтобы получить знакомый нам по HDR вид
Хребет Титон и Змеистая река в национальном парке Гранд-Титон, 1942 год, Энсел Адамс.

Это ручной процесс, и в сложных ситуациях в нём можно столкнуться с ограничениями фотоматрицы. Сегодня опытный фотограф может восстановить динамический диапазон из одного изображения формата RAW при помощи редактирования.

У RAW-файлов iPhone 11 впечатляющий динамический диапазон.
Получение приемлемого изображения из хитрой экспозиции iPhone 11 Pro при редактировании.

Вам не нужна 15-ступенчатая матрица, способная улавливать больше деталей в светлых и тёмных областях одновременно. Smart HDR использует совсем другой подход, «хитростью» добиваясь увеличения ДД. «Редактирование» происходит в реальном времени, без участия фотографа. Вам нужна матрица, способная делать снимки достаточно быстро, и умный софт, способный совмещать их.

Если настраивать матрицу iPhone 11 на быстрое снятие кадров с небольшой экспозицией, мы будем получать изображения с шумом – и это подтверждают RAW-файлы с iPhone XS и XR. Как мы писали в прошлом году, у этого подхода есть свои компромиссы. Поэтому нам потребуется уменьшение шума, побочным эффектом которого является потеря детализации.

Кирпичи стены превратились в акварель.
Оригинал и сильное уменьшение шума в Lightroom.

На самом же деле сглаживались все текстуры. Что интересно, это уменьшение шума привело к появлению обвинений компании Apple в применении сглаживающего кожу фильтра к каждому снимку. Фотки выглядели размытыми: По большей части фотографии из-за этого получались более красивыми, однако можно было заметить потерю детализации.


iPhone XS RAW против Smart HDR HEIC

Детали сохранялись, и при помощи инструментов типа Halide Smart RAW или ручного редактирования от шума можно было почти избавиться. Это сделало съёмку в формате RAW привлекательным вариантом для искушённых фотографов, использующих iPhone. Мне это нравилось больше, чем «обработанный» вид фотографий iPhone XS/XR. В редакторе RAW часто можно было восстановить динамический диапазон почти как у Smart HDR.


Smart HDR


Отредактированное изображение iPhone XS RAW

Smart HDR стал «умнее». Но после появления iPhone 11 я сразу же заметил потрясающее улучшение качества по сравнению с предшественником.

Иногда он вообще не справлялся, и отказывался оставлять передержанную фотографию просто передержанной. На iPhone XS и XR Smart HDR иногда перегибал палку, сглаживая текстуры или делая подсвеченные места излишне плоскими.


Пример того, как Smart HDR тупил на iPhone XS

Иногда можно восстановить динамический диапазон, получив плоскую картинку без контраста. Это классическая проблема HDR. У Smart HDR было такое сильное предубеждение против подсветки, что стало очень легко распознавать фотографии, сделанные с iPhone XS и XR. В худшем случае, фотки просто были испорчены.

На фотках iPhone XS RAW есть достаточно динамического диапазона, но от зернистости никуда не деться
Не сильно плоский кадр.

И это более умный Smart HDR. Камера iPhone 11 знает, что иногда вы хотите чрезмерной засветки.

Дьяволы деталей

Фотографии с iPhone 11 демонстрируют примечательную детализацию:


Обычное фото с сотового телефона

С версии iOS 13. (Для этой статьи я буду оценивать обычные фотографии, сделанные на iPhone 11. 2 Apple иногда использует обработку Deep Fusion, которую мы рассмотрим в будущих статьях).

Есть почти иррациональная погоня за чёткостью, нескончаемые требования к увеличению количества мегапикселей и постоянное обсуждение размера матрицы, необходимого для получения приемлемых снимков. Детали – это то, чего нам всегда не хватает в снимках.

Что делает Apple, чтобы достичь такого увеличения количества деталей? На iFixit (и нашей разборке) видно, что размер и количество мегапикселей матрицы iPhone 11 остались такими же, как у XS.

Изменились две вещи.

Оборудование

Изменения в оборудовании небольшие, но под капотом (под объективом?) проведено несколько очевидных улучшений. В частности, улучшен диапазон ISO, прибавляющий 33% на основной камере и 42% на телеобъективе.

Это мера чувствительности к свету. Что такое ISO? К примеру, ISO выше 800 очень чувствительна, и даже подвержена воздействию аэропортовского рентгена. В прошлом веке она обозначала чувствительность фотоплёнки.

Если света мало, ISO можно увеличить. Сегодня ISO – это настройка матрицы. Компромисс состоит в том, что повышение ISO повышает количество шума. В результате вы можете делать снимки с большой скоростью затвора, и они получатся более резкими. Требуется усиление функции уменьшения шума, что понижает количество деталей.

Чтобы увидеть разницу, не нужно использовать новое ISO на максимум. Многие решили, что повышение максимальной ISO на iPhone 11 нужно лишь для ночного режима, но улучшение диапазона также значительно улучшает ситуацию с повседневным шумом. Вы увидите её в большинстве снимков.

Однако: Есть только одно исключение: минимальный ISO на iPhone 11 вырос, что означает, что на базовом уровне он немного шумнее, чем iPhone XS и XR.

Легко заметить улучшение детализации на рекламном щите на верху тёмного здания и солнечных панелях.
iPhone XS RAW и iPhone 11 Pro RAW, на базовом уровне ISO (20 на XS, 32 на iPhone 11). Снято со штатива.

Судя по всему, матрица даёт больше детализации при небольшом добавочном шуме.

Люди сравнивали результаты снимков с iPhone 11 с DSLR или другими крупными камерами, однако вот, как выглядит матрица iPhone 11 по сравнению с матрицей Sony A7R4: В то же время, у оборудования есть свои пределы.

И в этом году волшебство стало ещё сложнее. Да, для получения хороших кадров требуется волшебство. Или, точнее, догадливее.

Серьёзное улучшение: выборочная постобработка

При редактировании фото вы можете решить применить фильтр ко всему изображению, например, сделать сцену поярче или увеличить резкость. Однако вы можете применять эффекты выборочно к части изображения, так, как частенько журналы сглаживают кожу модели, чтобы та выглядела более гладкой.

iPhone 11 автоматически разбивает изображение на части и применяет к ним разное по силе уменьшение шума. Apple добавила сходную ретушь к процессу получения снимков. Вы, возможно, не разглядите на этом снимке результаты уменьшения шума:

Если сильно выкрутить контраст, можно увидеть в облаках «акварельные» артефакты:


Обработанный HEIC и RAW

Поскольку небо обычно имеет однородную поверхность, iOS решает, что может применить более сильное уменьшение шума, сделав небо гладким без единого зёрнышка. В небе шум устраняется агрессивнее.

Кактусы и другие объекты, которые камера посчитала достойными детализации, остались почти без обработки. В других областях применяются другие уровне уменьшения шума.

На оригинале не очень чёткие кусты потеряли детализацию. Однако, и эта технология не идеальна. Она применяет уменьшение шума, судя по всему, на основе изначального количества деталей. iOS не знает, где тут кактус, а где – небо.


Один из способов, которыми компьютер видит детали

Она может специально сохранять детализацию текстуры кожи, волос и одежды. Распознавая лицо, iOS ведёт себя совсем по-другому.

Фоновые украшения довольно щедро размыты, но камера особенно позаботилась о том, чтобы текстура кожи и волос моего друга Крисе сохранились на изображении.
Подредактировано, чтобы выделить те области, где семантическая разметка сохранила текстуру. Серая оконная рама за ним, обладавшая богатой текстурой, стала полностью «акварельным».

Они используют машинное обучение для разбивания фото на кусочки и обработки каждого из них отдельно. Apple называет это «сегментацией фотографий». Впечатляет то, что всё это проделывается мгновенно.


iOS 13 может специально выделять волосы, зубы, глаза, кожу и т.д.

Прошлогодний Smart HDR был не таким избирательным. Эта целевая постобработка и делает iPhone 11 совершенно новой камерой. Новое изменение процесса обработки редактирует все сделанные вами снимки, чтобы сохранить определённые области изображения или сгладить текстуры.

Однако обычно это происходит в тех частях изображения, до которых вам нет особенного дела. В ночном режиме iPhone 11 также можно заметить исчезновение деталей в некоторых областях. Ночной режим каким-то удивительным, и даже загадочным образом умеет получить иногда даже более резкое изображение, чем обычный режим, и сохраняет детали в частях изображения, выбранных камерой во время его обработки.

Но поскольку камера теперь достаточно умна, чтобы делать это выборочно, и делать это там, где вы этого не заметите, никаких скандалов в этом году не возникло. Иронично, что прошлогодний скандал Beautygate оказался ложным, поскольку в этом году iPhone 11 реально подравнивает некоторые части изображения сильнее, чем другие. Изображения просто выглядят резче и мягче.

Улучшение устранения шума

Довольно сложно объективно сравнить то, как избавляются от шума iPhone 11 и iPhone XS (семантическую разметку невозможно отключить), кажется, что у iPhone 11 уменьшение шума лучше сохраняет детали.

И, тем не менее, такое улучшение можно только приветствовать. Можно было бы предположить, что новая система уменьшения шума использует машинное обучение для заполнения деталей, которые можно было бы иначе потерять – так делают многие сегодняшние технологии.

Постобработка и сверхширокоугольные объективы

Мы уже упоминали, что расстроены невозможностью получить файл RAW от объективов с сверхширокоугольным углом зрения. Возможно, это исправить обновление ПО. На следующем фото вы можете видеть, как все детали по большей части размыты:

Если вы хотите увидеть результат их работы в реальном времени, покрутите колёсико зума на приложении камеры в период начала закат. Сверхширокоугольные объективы – самые медленные из трёх задних объективов, поэтому им приходится использовать ISO выше. Как только вы опуститесь ниже 0,9х, вы начнёте замечать, как текстура, допустим, вашего ковра исчезает.


С уменьшением количества света результат работы сверхширокоугольных объективов делается очень размытым и выдаёт много артефактов уменьшения шума

У телеобъектива эта проблема ощущается меньше, но мы можем наблюдать её в его RAW. У УШЛ есть одна уникальная трудность: хроматические аберрации, или говоря простым языком, фиолетовые края. Обратите внимание на немного заметные розово-фиолетовые края листьев на этом снимке, сделанном в ботаническом саду Гонконга против солнечного света:

0 до f/0. К этому привычны фотографы, снимающие «быстрыми объективами» (с большой апертурой; в диапазоне от f/2. Чем больше света впускает объектив, тем сильнее вероятность того, что она пострадает от этого эффекта. 95, причём чем меньше число, тем больше апертура). А теперь автоматическая постобработка от Apple бережёт снимки от этой хроматической аберрации. К счастью в приложениях типа Lightroom можно убирать такие края.


Результат выглядит гораздо лучше после быстрого применения магии Apple

Везде, от искажений «рыбий глаз» до краевых эффектов, я хочу видеть (уродливую) правду. Если у вас будет пример RAW, сделанного на сверхширокоугольные объективы, мне бы хотелось посмотреть на него без коррекции.

Убедительный соперник для зеркалок?

Произошедшие в этом году изменения весьма внушительны. Благодаря улучшениям железа, семантическим поправкам в каждом кадре, обновлению Smart HDR и подстройкам алгоритма удаления шума, iPhone 11 и 11 Pro стали реальными претендентами на трон среди камер смартфонов.

Поэтому я часто беру с собой в поездки «большую» камеру. В прошлом iPhone делали отличные фотографии для соцсетей, однако при просмотре на большом экране они не выдерживали конкуренции.

Но эти серьёзные улучшения в обработке кадров позволяют заявить, что iPhone 11 – это первый iPhone, реально соперничающий с фотоаппаратом.

Это просто кадр с главного объектива iPhone 11 Pro, ужатое на 50%.
Ах, это? Ага.

Благодаря ловким алгоритмам обработки, чёткость и детализация дошли до уровня, пригодного для печати и просмотра на экранах высокого разрешения.

Второй кадр был сделан на iPhone 11 Pro с телеобъективом 52 мм. Один из снимков ниже был сделан камерой Sony A7R4 за $4000 – новейшей флагманской полнокадровой камерой, вышедшей в сентябре – на объектив G-Master за $1400 с длиной фокуса близкой к широкоугольному объективу iPhone (у камеры 24 мм, у iPhone 26 мм).

Производители камер должны напрячься. Возможно, вы поймёте, какой из них сделала какая из камер, однако вопрос не в достижении паритета, а в том, когда будет достигнуто «достаточно хорошее» качество.

Изображение с iPhone 11 пришлось лишь немного уменьшить, чтобы привести в соответствие с частью кадра от Sony. Очевидно, изначальный кадр у Sony был гораздо крупнее, однако у него и матрица на 61 мп против 12 мп у iPhone 11.

Значит ли это, что RAW уже не нужен?

Нет.

Ведь если мы можем получить все детали без шума, какой смысл? Казалось бы, со всеми этими деталями смысла снимать в RAW уже нет.

Однако смысл снимать в RAW на iPhone 11 всё ещё остаётся – если вам нужно вытянуть ещё больше из этого крохотного, но способного массива камер.

В RAW всё ещё прячется больше деталей

Особенно это заметно на мелких деталях, которые семантическая разметка и алгоритм уменьшения шума не считают за важные, и когда Smart HDR перебарщивает со слиянием деталей: Это может вас удивить, но да: в RAW всё ещё прячется больше деталей.


Слева — Smart HDR, справа – отредактированный RAW

Посмотрите на этот участок кадра без масштабирования. Да, детали всё ещё лучше сохраняются в RAW. На свитер, волосы, траву и даже деревья на фоне:


Smart HDR против RAW

Но небольшая зернистость, которая возникает почти при любых условиях съёмки, по моему мнению, только улучшает снимок. Да, зернистость имеется.


Раздражает ли зернистость в этом снимке, или добавляет ему шарма?

Но это только одна из возможностей – в отличие от случая, когда у вас есть только изображение, с которого безвозвратно убрали весь шум, а с ним и часть деталей и текстур. Конечно, вы всегда можете использовать ваше любимое приложение для того, чтобы позже убрать шум.

Гибкость в редактировании

Сохраняя картинку в JPEG или HEIC, алгоритм выбрасывает большой объём полезных для редактирования данных. Работа со светлыми и тёмными областями иногда обнаруживает странные участки и грани объектов:

Иногда при восстановлении подсвеченных участков небо выглядит странно; а дополнительные данные, содержащиеся в файле RAW, позволяют сделать естественно выглядящие градиенты:

И несмотря на этот, казалось бы, передержанный вид, агрессивное занижение экспозиции не выдаёт никаких новых деталей, которые могли бы быть потеряны в подсвеченных областях: Сейчас RAW-файлы у iPhone 11 склоняются к яркой и плоской картинке.

Для профессионалов привожу начальное состояние уровней:

Красивое и плавное уменьшение подсвеченных областей. Не нужен никакой HDR.

JPEG или HEIC со сходной экспозицией может выглядеть примерно так же при использовании Smart HDR, но менее гибок при редактировании.

Редактирование баланса белого – это сверхспособность

Камеры сталкиваются с различными типами освещения, и им приходится догадываться о том, что на снимке белого цвета. Вы можете сделать кадр с прекрасной снежной сценой в Рождество, и обнаружить, что на снимке снег будет синим или жёлтым. Вашу камеру сбивает с толку голубой отсвет неба на белом снегу, или оранжевое свечение заката.

Вы можете поменять все цвета, настраивая оттенок или тон [tint/hue], но не можете просто постфактум назначить баланс белого. Если вы делаете фото при помощи приложения Camera, баланс белого встраивается в снимок, и поменять его нельзя. В файлах RAW это сделать можно, и это даёт вам способность делать выразительные снимки с абсолютно разным настроением:

перев.]: Или использовать очень творческий подход к цвету и цветовому балансу, создавая кадры, отлично вписывающиеся в сабреддит /r/outrun[посвящён ретрофутуристской эстетике 80-х с неоновыми огнями и хромом / прим.

Ведь фотография, в конце концов, это искусство! Чем больше камеры самостоятельно редактируют для нас снимки, тем чаще хочется отказаться от навязанной камерой эстетики и взять всё в свои руки.

Выбирать не нужно

Если всё это звучит несколько сумбурно, то мы решили, что лучший способ дать вам возможность насладиться обеими мирами – магией обработки и неограниченными возможностями RAW – это дать вам доступ в оба мира сразу. Такие приложения, как Halide, могут одновременно снимать в RAW и обработанный JPEG, чтобы вы потом могли выбрать, что вам нравится больше. Если только вы не снимаете на сверхширокоугольный объектив.

Halide 1.15: умный и ещё умнее

У Halide 1.15 есть новая настройка: «включить умнейшую обработку». Это позволяет камере обрабатывать снимок так долго, как это необходимо, и выжать из неё весь динамический диапазон целиком.

Единственный минус состоит в том, что для этого нужно отключить снимки в RAW, поскольку невозможно одновременно снимать в RAW и заниматься обработкой изображения (это ограничение нам неподвластно).

Deep Fusion доступна только на iPhone 11 и 11 Pro, начиная с iOS 13. Новая настройка доступна для устройств, работающих под iOS 13, и лучше всего её результаты видны на iPhone XS, XR, 11 и 11 Pro. 2.

Нам очень интересно дать вам поиграться сразу с RAW-изображениями и полностью обработанными снимками, и узнать, что вам больше понравилось.

Теги
Показать больше

Похожие статьи

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Кнопка «Наверх»
Закрыть