Может ли настройка «универсальная экспозиция» быть практически возможной?

Не уверен, насколько необразован этот вопрос, но я заинтересован в изучении, поэтому заранее спасибо за вашу снисходительность.

Фильм физически изменяется в течение периода времени, в течение которого он экспонируется. Цифровой датчик, однако, не делает; это просто чтение данных. Есть ли какая-то причина, по которой фотокамеру нельзя заставить «запомнить» показания датчика в каждой точке воздействия? Это просто данные. Это может быть много данных, но бывают случаи, когда хочется это сделать, не так ли? Предоставление гораздо большей гибкости в постобработке.

Если хранение данных не было проблемой, есть ли причина, по которой это не могло бы быть нормой, по крайней мере, для профессиональной и художественной фотографии?

Цифровой датчик на самом деле не лучше всего описывается как «чтение данных». Гораздо лучший способ описать это - «собирать фотоны», которые затем преобразуются в данные путем измерения микроскопических электрических зарядов, которые они производят по окончании периода сбора . У них нет возможности непрерывно фиксировать изменяющееся состояние каждого пикселя, поскольку они собирают свет. И в зависимости от того, как мало или сколько света падает на датчик, может потребоваться много времени, чтобы достаточное количество фотонов попало на датчик, прежде чем будет сгенерировано что-либо большее, чем случайные данные. С другой стороны, при очень ярком свете иногда все пиксельные лунки могут заполняться так быстро, что любые дополнительные фотоны, падающие на сенсор, теряются.

В первом сценарии недостаточно фотонов собирается для создания различимой картины через «шум», генерируемый энергией, протекающей через датчик, который используется для сбора напряжений, создаваемых фотонами, попадающими в пиксельные лунки. Таким образом, полезная информация не собирается. Вся ваша фотография темная со случайными пятнами цвета и света.

Во втором сценарии собирается так много фотонов, что каждый пиксель считывается с одинаковым максимальным значением, называемым полным насыщением, и, поскольку каждый пиксель в изображении имеет одинаковое значение, полезная информация не сохраняется. Вся ваша фотография сплошного ярко-белого цвета.

Только когда достаточное количество фотонов попадает на сенсор, области с большим количеством фотонов в единицу времени имеют более высокое значение считывания, чем области с меньшим количеством фотонов, поражающих их в единицу времени. Только тогда датчик собирает значимую информацию, которая может различать области различной яркости.

Представьте себе, что вы ставите несколько ведер с водой во дворе, чтобы собирать капли дождя. Представьте, что у них всех есть немного воды, но вы выливаете ее перед тем, как положить их. Некоторые размещены под карнизом крыши вашего дома. Некоторые из них находятся под большими деревьями во дворе. Некоторые из них размещены под открытым небом. Некоторые из них находятся под носиком, который сбрасывает воду из ваших желобов во двор. Затем начинается дождь.

Допустим, идет дождь только в течение очень короткого времени: 15 секунд. В каждом ведре есть несколько капель воды. Но в каждом ведре недостаточно воды, чтобы можно было определить, было ли в каждом ведре больше дождевой воды, или в баке оставалось еще несколько капель, когда вы сливали воду перед тем, как положить ведра. во дворе. Поскольку у вас нет достаточно данных, чтобы определить, сколько осадков выпало на какие части двора, вы вываливаете все ведра и ждете, когда снова начнется дождь.

На этот раз идет дождь в течение нескольких дней. К тому времени, когда это прекращает литься дождем, каждое ведро во дворе переполняется. Даже если вы абсолютно уверены, что некоторые корзины заполняются быстрее, чем другие, у вас нет возможности узнать, какие корзины заполнились быстрее, а какие заполнились последними. Так что вам нужно снова выгрузить ведра и дождаться дождя.

С третьей попытки идет дождь в течение трех часов, а затем прекращается дождь. Вы выходите во двор и осматриваете свои ведра. Некоторые почти полны! У некоторых в них почти нет воды! Большинство из них имеют различное количество воды между двумя крайностями. Теперь вы можете использовать местоположение каждого ведра, чтобы определить, сколько осадков выпало на каждом участке вашего двора.

Причина, по которой мы изменяем экспозицию в цифровых камерах, заключается в попытке собрать достаточно света, чтобы самые яркие области были почти, но не совсем насыщены.В идеале это происходит с камерой с базовой чувствительностью ISO. Иногда, однако, не достаточно света, чтобы сделать это. Даже при самой большой доступной диафрагме мы не сможем собрать достаточно света за самое долгое время, которое мы посмели оставить открытым затвором (из-за движения наших объектов). В этом случае мы настраиваем настройку ISO в нашей камере таким образом, чтобы все значения, поступающие с датчика, умножались с коэффициентом, который приводит к наивысшим значениям в точке, где они почти, но не полностью насыщены. К сожалению, когда мы усиливаем сигнал (напряжения, создаваемые фотонами, попадающими в лунки пикселей), мы также усиливаем шум (случайные неравные напряжения, создаваемые током, используемым для сбора напряжений из каждой лунки пикселей). Это приводит к снижению отношения сигнал / шум что уменьшает количество деталей, которые мы можем создать из данных, которые мы собрали с датчика.

Существуют и другие технические ограничения, которые не позволяют камерам сохранять «бегущую сумму» количества фотонов, собранных через различные промежутки времени, когда затвор открыт. Бросьте достаточно денег на проблему, и некоторые из этих ограничений могут быть преодолены, по крайней мере, частично. Но либо законы физики должны будут измениться, либо нам нужно полностью изменить способ, которым датчики считают фотоны, прежде чем другие из этих ограничений могут быть преодолены. В конце концов, технология в некоторых или во всех этих устройствах может заменить способ, которым мы в настоящее время снимаем изображения очень высокого качества, но мы еще далеко от этого.

У нас уже есть некоторые технологии для этого. Наш термин для запоминания показаний датчика в каждой точке экспозиции - «видео», а вы запрашиваете реконструкцию оптимального неподвижного изображения из нескольких видеокадров.

Для обзора работы Microsoft Research по этому вопросу, начните здесь: http://research.microsoft.com/en-us/um/redmond/groups/ivm/multiimagefusion/

Доступный пример см. В приложении Synthcam, которое можно использовать для снижения шума при слабом освещении путем объединения видеокадров, сделанных камерой телефона: https://sites.google.com/site/marclevoy/

Это далеко от практического применения для повседневной фотографии, но вполне возможно, что будущие камеры будут снимать много кадров видео высокой четкости с высокой частотой кадров, позволяя фотографу достичь желаемого результата, выбирая и комбинируя позже.

Обновление в конце 2016 года: когда я писал оригинальный ответ, это было каким-то образом с рынка. В конце 2016 года это кажется намного ближе. Приложение Марка Левоя «See In The Dark» объединяет несколько видеокадров со стабилизацией на потребительском смартфоне для получения полезных изображений при лунном свете. Смотрите также камеру Light L16 , которая объединяет несколько маленьких датчиков в одно изображение.

Первоначальный вопрос основан на неверном предположении (о том, что цифровой датчик не изменяет состояние во время экспонирования), но концепция связана с идеей Quanta Image Sensor (QIS), исследованной Эриком Фоссумом .

http://engineering.dartmouth.edu/research/advanced-image-sensors-and-camera-systems/

QIS - это революционное изменение в способе сбора изображений с помощью камеры, изобретаемой в Дартмуте. В QIS цель состоит в том, чтобы подсчитать каждый фотон, попадающий на датчик изображения, и обеспечить разрешение в 1 миллиард или более специализированных фотоэлементов (так называемых переходов) на датчик, а также считывать битовые плоскости сотен или тысяч раз в секунду, в результате в терабитах / сек данных.

Такое устройство будет (цитируя вопрос)

«запомнить», какие показания датчика были в каждой точке воздействия

и имея полный набор данных, мы могли бы, например, «изменить» эффективное время экспозиции после того, как была сделана «фотография».

Сегодня это может быть аппроксимировано записью видео и объединением кадров в постобработке для имитации более длительного времени экспозиции (ограничено производительностью камеры, разрешением режима видео и скоростью затвора, но это показывает идею)

Если QIS работает так, как было обещано, он также вводит другие интересные функции, такие как улучшенная производительность при слабом освещении, увеличенный динамический диапазон, отсутствие наложения, полностью настраиваемая чувствительность (например, в виде пленки), отсутствие настроек ISO, регулируемое разрешение и шум

Недавнее объявление: http://phys.org/news/2015-09-breakthrough-photography.html

Фильм физически изменяется в течение периода времени, в течение которого он экспонируется. Цифровой датчик, однако, не делает; это просто чтение данных.

Это действительно зависит от типа датчика. Тип КМОП-датчиков, которые используются в современных DSLR, накапливает электрический заряд в каждом пикселе с течением времени, поэтому они, на самом деле, меняются со временем так же, как пленка. Если бы они не работали таким образом, изображение существовало бы только до тех пор, пока был открыт затвор. Датчики CCD (другая распространенная технология для датчиков изображения в камерах) также работают таким образом, накапливая свет с течением времени.

Есть ли какая-то причина, по которой фотокамеру нельзя заставить «запомнить» показания датчика в каждой точке воздействия?

Это именно то, что делает камера, когда записывает изображение. Однако я думаю, что вы имеете в виду, что если датчик может считывать мгновенную интенсивность света, то вы можете отрегулировать экспозицию после факта на любое желаемое значение. Как объяснялось выше, это не совсем так, как работает большинство датчиков изображения. С другой стороны, мы можем и часто делать регулировки экспозиции совсем немного в пост-обработки.

Если хранение данных не было проблемой, есть ли причина, по которой это не могло бы быть нормой, по крайней мере, для профессиональной и художественной фотографии?

Что касается «запоминания» данных от датчика, это является нормой для многих фотографов. Большинство камер позволяют записывать изображения в формате «RAW», и это в значительной степени данные, считанные с датчика, плюс немного больше данных о настройках камеры в то время. Изображения RAW занимают намного больше места, чем другие форматы, такие как JPEG, но они дают фотографу свободу повторной интерпретации данных позже, так что вы можете легко изменить настройки, такие как цветовая температура и баланс белого при постобработке.

Другие уже объяснили, почему это не будет работать технически. Я хочу коснуться того, почему это не будет работать практически .

Если хранение данных не было проблемой, есть ли причина, по которой это не могло бы быть нормой, по крайней мере, для профессиональной и художественной фотографии?

Рассмотрим величину различных условий освещения, которые мы можем сфотографировать. Даже игнорируя такие крайности, как астрофотография (где вы часто фотографируете маленькие пятнышки света, окруженные почти полным черным), у вас все еще есть вечерние или ночные съемки с суши и ярко освещенные заснеженные зимние пейзажи. Я собираюсь использовать последние два в качестве примера.

Также я собираюсь предположить, что для точного воссоздания любой желаемой экспозиции мы должны выставить датчик до точки полного насыщения.

Кроме того, я предполагаю, что мы можем считывать значения датчика неразрушающим способом. (Это, вероятно, одна из тех проблем, которые попадают в категорию «бросить достаточно денег на проблему, и это может быть решаемо».)

В случае с ночной фотографией нам нужно было бы очень долго выставлять датчик, чтобы насытить все пиксели, а это значит, что любая фотография, независимо от того, что мы на самом деле хотим получить, будет занимать абсурдно много времени. Классическая туристическая картина танцоров в баре на открытом воздухе становится почти невозможной, потому что, ну, вы можете сделать несколько снимков в течение всего вечера. Не хорошо. Поэтому мы не можем подвергаться насыщению, по крайней мере, не без разбора. (Экспонирование до некоторого процента насыщенных пикселей одинаково бесполезно, но по разным причинам; попробуйте получить правильную экспозицию, когда фотографируете камин с горящим в нем огнем. Это почти невозможно; как бы вы ни старались, некоторые пиксели будут раздуты или огромные полосы изображения будут ужасно недодержаны.)

При фотографировании ярко освещенного заснеженного ландшафта, такого как зимний пейзаж в дневное время, когда солнце отсутствует, экспозиция, к которой стремится автоматическая система экспозиции камеры («18% серый»), крайне неадекватна. Вот почему вы часто видите фотографии темного снега, где снег выглядит скорее светло-серым, чем белым. Из-за этого мы часто используем положительную настройку компенсации экспозиции , в результате чего снег становится почти насыщенным белым. Однако это означает, что мы не можем полагаться на систему АЭ камеры, чтобы определить, когда нужно закончить экспозицию: если мы это сделаем, такие снимки будут неизменно недоэкспонированы .

Другими словами, воздействие полного насыщения во многих случаях нецелесообразно, а воздействие, которое делает систему АЕ счастливой, во многих случаях неадекватно. Это означает, что фотографу все равно придется сделать какой-то выбор, и в этот момент мы, по крайней мере, так же преуспели в том, чтобы оставаться с тем, что имеем, и фотографы привыкли, делая системы АЕ лучше и предоставляя фотографу легкое проще?) доступ к настройкам компенсации экспозиции. Увеличивая практически используемый динамический диапазон датчика, мы можем (даже) увеличить широту изменений экспозиции при постобработке; оригинальные цифровые зеркальные фотоаппараты были ужасно дорогими, но по-настоящему ужасными в этом отношении по сравнению с сегодняшними моделями даже начального уровня.

Все это можно сделать полностью в рамках того, что у нас уже есть. Это не значит, что кардинально улучшить полезный динамический диапазон датчика легко , но, вероятно, это намного проще, чем вы предлагаете, и это проблема, с которой у поставщиков есть опыт работы.

Профессионалы, почти по определению, знают, как использовать оборудование своей торговли. Ничего особенного не происходит, если они фотографы или пилоты космического корабля . Особенно, когда это можно сделать, не вызывая информационной перегрузки, обычно лучше предоставить пользователю полный контроль над профессиональным оборудованием. На мой взгляд, современные высокопроизводительные зеркальные фотокамеры неплохо справляются с этой задачей.

Давайте упростим задачу, чтобы понять, почему мы всегда должны идти на компромиссы.

Давайте изобретем камеру, которую вы хотите, но только с одним монохромным пикселем. Он должен иметь возможность надежно получать и уведомлять процессор о приеме одного фотона. Он также должен иметь возможность принимать и уведомлять процессор о приеме, практически говоря, бесконечно бесконечных фотонов.

Первый случай в ситуации, когда нет света. Второе в случае даже умеренного количества света.

Основная проблема в том, что у нас просто нет технологии для создания датчика с таким широким динамическим диапазоном. Нам всегда придется идти на компромисс, и сейчас мы идем на компромисс, выбирая более высокий диапазон, в котором датчик может принимать почти бесконечные фотоны и дает нам показания, которые предполагают относительное количество света, попадающего на датчик. Он их вообще не считает, но действует так, как делают наши глаза - они просто дают результат, который соответствует количеству фотонов, поражающих их, без попытки подсчета фотонов.

Это еще более усложняется тем фактом, что это собирается со временем.

Идеальный датчик на самом деле был бы больше похож на счетчик Гейгера - измеряя время между фотонами, чтобы дать нам почти мгновенное измерение количества света, падающего на датчик, предполагая, что фотоны относительно равномерно распределены (что не соответствует действительности, но это удобное предположение, и почему счетчики Гейгера усредняются со временем так же, как камеры).

Квантовые датчики будут иметь по существу ту же проблему. Конечно, они могут ощущать отдельный фотон, но в какой-то момент они приходят достаточно быстро, так что вы просто не можете измерить время между ними или даже сосчитать, сколько их приходит за период воздействия.

Таким образом, у нас есть этот компромисс, который требует, чтобы мы или сделали несколько снимков с несколькими экспозициями, или добавили несколько изображений с одинаковой высокой экспозицией вместе, чтобы выявить участки с низкой освещенностью, или разбили входящий свет на два или более путей с помощью разных датчиков с разной динамикой Диапазон, или создать датчики, которые могут сгруппировать пиксели вместе или сложить датчики света, или, или, или - есть буквально тысячи способов, которыми фотографы преодолели эту основную проблему за десятилетия с помощью широкого спектра медиа.

Это физическое ограничение, которое вряд ли будет преодолено. У нас никогда не будет камеры * без участия фотографа, которая позволит принимать все решения при постобработке.

* _{Конечно, если вы измените определение камеры, вы можете быть удовлетворены результатами других процессов, но это в значительной степени субъективно. Реальность такова, что если вы снимаете сцену с помощью камеры, а затем показываете сцену человеку, то изображение, которое вы сняли, будет воспринимать различия из-за внутренних различий между глазами, датчиком изображения и процессом печати. Изображение. Фотография так же важна для интерпретации и искусства, как и для съемки света, поэтому фанатичный фокус на «идеальной камере», вероятно, не очень полезен.}