RAW файлы хранят 3 цвета на пиксель или только один?

Кен Роквелл говорит, что производители камер учитывают отдельные датчики R / G / B, когда говорят о мегапикселях. Таким образом, изображение ниже будет камерой 6x6 пикселей, а не 3x3, как вы могли бы себе представить.

Если это правда, файл RAW будет содержать только одну информацию о цвете на пиксель (будь то R, G или B) в виде числа 10, 12 или 14 бит.

Мое замешательство возникает, когда я читаю в некоторых местах такие вещи, как:

• RAW-файлы хранят среднее из двух зеленых датчиков на пиксель.
• Файлы RAW используют 12 бит на пиксель, но есть 3 цвета, так что на самом деле это 36 бит на пиксель.

Что, очевидно, было бы ложным, если утверждение Кена верно.

Так в чем правда?

Сырые файлы на самом деле не хранить любые цвета на пиксель. Они хранят только одно значение яркости на пиксель.

Это правда, что с маской Байера над каждым пикселем свет фильтруется либо красным, зеленым или синим фильтром - над каждым пикселем. Но нет жесткого обрезания, при котором только зеленый свет проникает в пиксель с зеленым фильтром или только красный свет проникает в пиксель с красным фильтром. Там много совпадений. Много красного света и немного синего света проходит через зеленый фильтр. Много красного света и даже немного синего света проходит через красный фильтр, а некоторое количество красного и зеленого света регистрируется пикселями, отфильтрованными синим цветом.

Поскольку необработанный файл представляет собой набор отдельных значений яркости для каждого пикселя на датчике, фактическая информация о цвете для каждого пикселя отсутствует в необработанном файле. Цвет получается путем сравнения смежных пикселей, отфильтрованных по одному из трех цветов, с маской Байера. Но точно так же, как установка красного фильтра перед объективом при съемке черно-белой пленки не давала монохромную красную фотографию (или черно-белую фотографию, на которой толькокрасные объекты вообще имеют какую-либо яркость), маска Байера перед монохроматическими пикселями тоже не создает цвета. То, что он делает, это изменяет тональное значение (насколько ярким или темным записывается значение яркости определенного цвета) различных цветов на разные величины. Когда сравниваются тональные значения (интенсивности серого) смежных пикселей, отфильтрованных с использованием трех разных цветов, используемых в маске Байера, тогда цвета могут быть интерполированы из этой информации. Это процесс, который мы называем демосакцией .

Много математики сделано, чтобы назначить значения R, G и B для каждого пикселя. Существует много разных моделей для этой интерполяции. Сколько смещения уделяется красному, зеленому и синему в процессе демозаики - это то, что устанавливает баланс белого / цвета . Гамма-коррекция и любое дополнительное формирование кривых светового отклика - вот что устанавливает контраст . Но в конце каждому значению присваиваются значения R, G и B. В примере 6x6 пикселей в вопросе результатом демозаики будет 36-пиксельное изображение с 36 пикселями, каждое из которых имеет значения Red, Green и Blue.

Немного разрешения теряется в переводе. Оказывается, что с точки зрения количества чередующихся черных и белых линий на дюйм или мм, которые могут быть разрешены датчиком с маской Байера RGGB и хорошо выполненным демозайсингом, предел абсолютного разрешения датчика Байера составляет около 1 / √2. по сравнению с монохроматическим датчиком, который не имеет маски Байера и, следовательно, не нуждается в демозацировке (но может видеть только в черно-белом режиме).

Даже если ваша камера настроена на сохранение необработанных файлов, изображение, которое вы видите на задней панели ЖК-экрана вашей камеры сразу после съемки, не является необработанными необработанными данными. Это предварительное изображение, сгенерированное камерой путем применения настроек в камере к необработанным данным, что приводит к предварительному изображению в формате JPEG, которое вы просматриваете на ЖК-дисплее. Это изображение предварительного просмотра добавляется к необработанному файлу вместе с данными от датчика и информацией EXIF, которая содержит настройки в камере во время съемки фотографии.

Настройки разработки камеры для таких вещей, как баланс белого, контрастность, тень, блики и т. Д., Не влияют на фактические данные с датчика, записанные в необработанном файле. Скорее, все эти настройки перечислены в другой части необработанного файла.

Когда вы открываете «сырой» файл на вашем компьютере, вы видите одну из двух разных вещей:

• Предварительный просмотр JPEG-изображения, созданного камерой во время съемки. Камера использовала действующие настройки, когда вы сделали снимок и добавили его к необработанным данным в файле .cr2. Если вы смотрите на изображение на задней панели камеры, вы видите изображение в формате jpeg.

• Преобразование необработанных данных приложением, которое вы использовали для открытия «необработанного» файла. Когда вы открываете 12-битный или 14-битный «сырой» файл в приложении для обработки фотографий на компьютере, на экране вы видите 8-битный рендеринг демозацированного необработанного файла, который очень похож на JPEG, а не фактический 14-битный файл, отфильтрованный по Байеру. При изменении настроек и ползунков «необработанные» данные перераспределяются и снова отображаются в 8 бит на цветовой канал.

То, что вы увидите, будет зависеть от настроек, выбранных вами для приложения, с которым вы открываете необработанный файл.

Если вы сохраняете свои снимки в необработанном формате, когда вы их делаете, то после постобработки вы будете иметь ту же самую информацию для работы, независимо от того, какие параметры разработки были выбраны в камере во время съемки. Некоторые приложения могут изначально открывать файл, используя либо предварительный просмотр JPEG, либо применяя настройки в камере, активные в момент съемки изображения, к необработанным данным, но вы можете изменить эти настройки без какой-либо разрушительной потери данных на любые другие Вы хотите в посте.

Canon Digital Photo Professional откроет необработанный файл .cr2 в том же стиле изображения, который был выбран в камере при съемке. Все, что вам нужно сделать, чтобы изменить его, это использовать раскрывающееся меню и выбрать другой стиль изображения . Вы даже можете создать «рецепт» для одного изображения, а затем применить его ко всем изображениям, прежде чем начать работать с ними. Программное обеспечение для необработанной обработки другого производителя аналогично, и обычно есть возможность, чтобы приложение открывало изображение с примененными настройками разработки камеры.

При использовании сторонних приложений для необработанной обработки, таких как Adobe Lightroom или Camera Raw , Apple Aperture или Photos , PhaseOne Capture One Pro , OpticsPro DxO Lab и т. Д. , Получение изображений для отображения в соответствии с настройками камеры может быть немного сложнее. Например, продукты Adobe игнорируют почти все разделы заметок изготовителя в формате EXIF ​​необработанного файла, где многие производители включают хотя бы некоторую информацию в настройки камеры.

_{¹ Фактические цвета маски Байера перед датчиками большинства цветных цифровых камер: синий - слегка фиолетовая версия синего с центром в 450 нм, зеленый - слегка голубоватый вариант зеленого с центром около 540 нм, и красный - слегка оранжевая версия желтого цвета. То, что мы называем «красным», - это цвет, который мы воспринимаем для света на длине волны около 640 нм. «Красные» фильтры на большинстве массивов Байера пропускают большую часть света где-то около 590-600 нанометров. Перекрытие «зеленых» и «красных» колбочек в сетчатке человека еще ближе, чем «красное» с центром около 565 нанометров, что мы и называем желто-зеленым.}

Это все правда, но толкование можно растянуть.

Этот конкретный образец сырого цвета называется шаблоном Байера.

Да, необработанный - это один цвет на пиксель, и этот пиксель составляет (обычно) 12 бит. Таким образом, есть три цвета необработанных пикселей, некоторые синие, некоторые красные, и в 2 раза это число - зеленый.

Затем, программное обеспечение для необработанной обработки (для создания RGB JPG, оно может быть непосредственно в камере или гораздо позже может быть внешним) преобразует необработанные данные в изображение RGB, чтобы мы могли его использовать. Это интерполяция, соседние пиксели двух других цветов объединяются в каждый из этих пикселей RGB, но все они становятся пикселями RGB. В этот момент это 36-битные пиксели RGB, однако пространственное разрешение слегка нарушено, поскольку различные данные о пикселях передаются соседям. В итоге мы можем получить (например) 6000 RGB пикселей ширины датчика, но он получен из 2000 синих и 2000 красных датчиков и т. Д. (И данные также передаются по вертикали, более чем из трех пикселей). Это называется демозапись ... которую можно найти в Интернете.

Кен прав в утверждении, которое вы цитируете. Правильно, что современные цифровые камеры (за исключением тех, которые оснащены сенсорами Foveon от Sigma) работают с использованием матрицы Байера, а разрешение сенсора указывается в качестве размера матрицы. Ваше изображение в качестве примера представляет датчик «36 пикселей». Тем не менее, важно признать, что камеры превращают это в полноцветное изображение полного указанного размера в реальных пикселях , и что это не так плохо, как это делает Кен .

Несколько вещей, которые он говорит в этой статье, совершенно неверны, начиная с:

По состоянию на 2006 год эти умные алгоритмы позволяют начинать с одной трети данных и делать так, чтобы они выглядели примерно так же, как половина заявленных пикселей.

Это была ерунда в 2006 году и ерунда сегодня. Процесс работает на нескольких простых предположениях. Больше того, что изложено здесь , но основное состоит в том, что вы можете предсказать, какую «недостающую» информацию следует искать на соседних пикселях разного цвета. В большинстве случаев это оказывается хорошим предположением, а в других случаях совершенно ошибочным. В случаях, когда нет очень подробного перехода между цветами, результат так же хорош, как если бы каждый сенсор записывал полный цвет. В тех случаях, когда предположение неверно, это намного хуже. В реальном мире первое действительно очень распространено и работает намного лучше, чем «половина», но важно то, что оно зависит от контекста.

RAW не предлагает здесь никаких преимуществ, кроме одной потенциальной игры. Байеровская интерполяция происходит в программном обеспечении, открывающем необработанные данные. Будущие достижения в алгоритмах интерполяции Байера могут быть включены в будущее сырое программное обеспечение, если и только если ваш производитель камер продолжит поддерживать вчерашние камеры в завтрашнем программном обеспечении. Вполне вероятно, что ваш производитель камер больше не будет поддерживать вашу старую камеру в завтрашнем программном обеспечении!

Он прав в том, что стрельба в RAW не меняет основ, но идея о том, что старые файлы перестанут работать, в основном бессмысленна . Поскольку в старых камерах используется один и тот же базовый принцип и принципиально схожие форматы файлов, продвижение поддержки старых моделей на неопределенное время не обходится дорого, и у производителей есть много стимулов для этого - и даже если это произойдет, есть большие декодеры с открытым исходным кодом.

И, конечно же, хранение файлов RAW дает другие преимущества, не связанные с демозаикой.

Но также глупо утверждать, что возможность будущих улучшений является единственным преимуществом. Как я уже сказал, существуют различные предположения относительно содержания вашего изображения, и различные алгоритмы (или настройки этих алгоритмов) будут лучше соответствовать различным ситуациям в реальном мире, поэтому, если вы окажетесь в ситуации, когда вы получаете муар или другие артефакты, вы можете иметь дело с этим. (Хотя, я должен добавить, что это на очень суетливом уровне - очень редко бывает ситуация, когда стоит посмотреть внимательно).

Есть также фактор, за который Кен может быть извинен, потому что статье уже десять лет. В 2006 году большинство камер были в диапазоне 5–8 мегапикселей, а высококлассные модели зеркальных камер растянулись до 12. Теперь типичные низко / средние зеркалки и беззеркальные камеры предлагают 16 и 24 мегапикселя, и это идет оттуда. На данный момент спор о цветовых деталях на уровне пиксельного подглядывания действительно академичен, потому что в реальном мире очень редко, чтобы освещение, линзы, стабильность и все остальное выстраивались так хорошо, что это ограничивающий фактор.

В общем, сайт Кена Роквелла похож на этот. (См. Этот ответ для получения дополнительной информации .) Это прискорбно, так как на самом деле он может сказать много интересного и дать несколько полезных советов, но также есть много глупостей, и вместо того, чтобы признать это или улучшить его, он стремится удвоить вниз, а затем утверждает, что весь сайт сатира.

Да, и еще один забавный факт: ЖК-экраны на задней панели камеры и EVF также используют три цветных подпикселя для представления одного цифрового пикселя, и эти экраны обычно продаются с количеством подпикселей - фактически в 3 раза больше, чем вы могли ожидать от способа, которым дано разрешение экрана компьютера.