Насколько актуальны оценки и тесты DxOMark?

Мне показания датчика DxOMark кажутся немного странными. Недавно они оценили сенсор Nikon D3300 по тем же показателям, что и у Canon 1Dx, что, по-моему, вряд ли отразится на их характеристиках, а также заставило меня скептически относиться к их системе начисления очков.

Я ценю их измерения датчика, что дает нам инструмент для сравнения различных датчиков камеры, но действительно ли они актуальны? Насколько я знаю, нет документации о том, как рассчитывается оценка по динамическому диапазону, чувствительности цвета и показателям ISO при слабом освещении. Кроме того, DxO Labs заинтересована в продаже своего программного обеспечения, а не в предоставлении инструментов для сравнительного анализа в научных исследованиях, и вполне может быть ориентирована на определенного производителя.

Насколько полезны результаты DxOMark и как вы можете использовать их для сравнения разных камер?

Первичные «баллы» DXOMark совершенно бесполезны. ИГНОРИРУЙ ИХ. Бесполезно пытаться свести сложную сущность, такую ​​как DSLR, к одному скалярному числу, которое говорит вам обо всем. Это ошибка. Есть слишком много факторов, чтобы рассмотреть, и какие факторы являются наиболее важными для данного фотографа, отличаются. Один счет полностью побеждает цель проведения измерений в первую очередь.

Когда дело доходит до других показателей DXO, таких как слабое освещение, ландшафт и все такое, принимайте их с изрядной дозой соли. Их общие оценки сильно взвешены и часто основаны на результатах измерений, а не на фактических измерениях. Например, оценка ландшафта основана на «мере» Print DR. Проблема в том, что DXO на самом деле не измеряет Print DR, так как он не основан на образцах, взятых из фактических изображений с пониженной дискретизацией. Print DR - это простая математическая экстраполяция из ИСТИННОГО измеренного динамического диапазона датчика.

Поэтому Print DR на самом деле ничего не говорит о датчике. Когда DXO говорит, что D800 и D600 имеют 14,4 ступени DR, то есть Print DR, который экстраполируется от фактического аппаратного DR, который составляет 13,2 ступени. То же самое касается сенсоров Canon. Когда DXO говорит вам, что датчик имеет 12 остановок DR, это действительно не так. В действительности, большинство датчиков Canon на аппаратном уровне имеют около 10,95 остановок DR.

Однако проблема еще хуже. Большая часть информации о глубине цвета и оценке чувствительности к цвету взвешена, как и многие оценки на основе ISO. Весовые коэффициенты основаны на достижении камерами определенных пороговых значений, таких как SNR при определенном значении ISO, превышающем определенный уровень. Это дает определенный «бонус» на счет этой камеры. В тот момент, когда в игру вступает любой вид начисления бонусов на основе веса, ваша способность напрямую сравнивать что-либо по любому показателю полностью исчезает из окна. Теперь вы находитесь на нелинейном игровом поле, где вы, честно говоря, не знаете, была ли та камера Nikon с 95 баллами сильно взвешена по сравнению с этой камерой Canon с 80 баллами.

Когда дело доходит до реальных измерений, информация DXO является одной из лучших из доступных. Их показатели SNR, DR, Screen, цветовой чувствительности и т. Д. Вполне приемлемы, поскольку все они взяты непосредственно из нескольких образцов RAW-изображений для каждой протестированной камеры. Их методология тестирования довольно строгая, и ничто не указывает на то, что часть их методологии должна подвергаться сомнению. С научной точки зрения, в отношении того, как они тестируют и что они измеряют, DXO обладает надежной практикой и достоверной информацией.

DXO действительно смешанная сумка. У них могут быть надежные методы тестирования, но их оценка, учитывая, что она часто основана на математически выведенной взвешенной информации и том факте, что пару их баллов часто получают «бонусные» баллы просто за достижение определенных порогов, полностью сводит на нет все баллы. из того, что делает DXO: для получения линейной оценки для каждой камеры, которая позволяет легко сравнивать камеры. Начать с заблуждения с одним номером было ошибочно, но они сильно ухудшили то, как они справляются с фактическим процессом подсчета очков.

Общая оценка

Обычно я игнорирую общий балл, поскольку он слишком общий, если вы понимаете какой-либо из отдельных баллов.

Общая оценка является функцией различных (достаточно) детерминированных тестов, каждый из которых является достаточно информативным, и большинство (если не все?) Имеют четкие единицы измерения. Но затем они генерируют «счет», который объединяет эти показатели с различными измерениями. Это похоже на сравнение одного автомобиля с другим, добавляя максимальное ускорение (м / с / с), размер их топливного бака (L), их максимальную скорость (км / ч) и количество пассажиров, которых они могут перевозить. Всем захочется по-разному оценивать различные компоненты, поэтому общий балл становится довольно неактуальным.

Использование баллов

Как вы говорите, Canon 1DX получил тот же общий балл, что и Nikon D3300, но отметьте некоторые большие различия, даже на сводной странице «Счета»:

• "Пейзажный" показатель (он же Dynamic Range) составляет 11,8 против 12,8 EV (1 ступень лучше на D3300)
• «Спортивный» результат (он же ISO при слабом освещении) составляет 2786 против 1385 ISO (1 ступень лучше на 1DX)

Эти « баллы прецедентов » уже более специфичны и размерно чувствительны, и их сравнение намного лучше.

Тем не менее, они также

1. не обязательно легко понять, и
2. не обязательно полезное измерение для всех применений

Например, вариант использования «Спорт / Низкий свет ISO»

ISO при слабом освещении - это максимальная настройка ISO для камеры, которая позволяет добиться SNR 30 дБ, сохраняя при этом хороший динамический диапазон 9 EV и глубину цвета 18 бит.

Эти выбранные значения являются произвольными, но полезная часть заключается в том, что они используются последовательно для одинакового измерения всех датчиков. Это означает, что, хотя вы смотрите только на одно значение, вы по крайней мере можете сравнить яблоки с яблоками. Насколько хорошо сравниваются датчик A и датчик B для одной конкретной точки данных. Это полезное сравнение, потому что все датчики имеют тенденцию работать лучше при более низких значениях ISO, и все они, как правило, имеют аналогичные потери при увеличении ISO и т. Д. Но вы действительно полагаетесь на одинаковую производительность для всех датчиков, чтобы это было полезным сравнение общего назначения.

измерения

Если вы перейдете в раздел «Измерения» сравнения, вы увидите еще несколько полезных сравнений. Много данных, в разных условиях. Вот где вы можете (вроде) начать отвечать на такие вопросы, как «Насколько меньше ISO-шума я получу от камеры A против камеры B при ISO6400?». Или, если вы уже знаете, что с вашей текущей камерой все в порядке до ISO 1600, вы можете использовать SNR для вашей камеры при ISO 1600 в качестве базового уровня для сравнения других камер (в этом случае будет аналогичное количество шума изображения в 1DX при ISO 3200, как это было бы в D3300 при ISO 1600). Ну, даже это не совсем так, поскольку данные SNR на 18% серые!

Сравнение производительности между сложными устройствами со многими размерами / степенями свободы по своей сути является очень сложной проблемой. Вы можете часто сравнивать отдельные тесты, но проблема в том, чтобы найти общие тесты, которые быстро и легко отображают относительную или абсолютную производительность. Я думаю, что "Use Case Scores" достигают этого в значительной степени, но только потому, что технология большинства датчиков довольно схожа, позволяя вам сделать обобщения, подобные приведенному выше, о том, что 1DX "на один шаг лучше" для шума при слабом освещении , (Представьте, что шум датчиков не является простой функцией ISO для всех датчиков!)

Помните также, что один датчик превосходит другой, не обязательно полезен . Производительность ISO (SNR 18%) для D3300 и 1DX практически не имеет значения при съемке в формате JPEG яркой сцены дневного света. Более полезными будут такие вещи, как динамический диапазон (для теней / выделения деталей с резкими тенями). И даже тогда, снимая JPEG, вы не получите намного больше от большего динамического диапазона (есть небольшая степень сжатия тона, чтобы сформировать JPEG, но оба по-прежнему способны значительно превосходить 8-битный динамический диапазон JPEG). Повторять аналогию с автомобилем - это все равно, что сравнивать максимальную скорость и ускорение между автомобилями для городских поездок. Вы никогда не достигнете предела ни одной «быстрой» машины, так что это не имеет значения для этого применения, Вам действительно нужно хорошее понимание конкретного приложения, если вы хотите осмысленно сравнить два датчика, и вот что вы хотите знать:

1. Фактические измерения, для сравнения (не только общие оценки)
2. Какие измерения полезны для приложения
3. Каков предел полезности для конкретной меры производительности

Резюме

Общая оценка довольно бесполезно, кроме как на самом деле общее руководство по чьему - то взвешиванию потребительных случаев (не обязательно ваши!) С.

Оценки вариантов использования - намного лучшие руководства для нескольких общих трендов производительности между различными датчиками.

В Измерения позволяют сделать свои собственные сравнения, если вы знаете , что сравнивать, и есть приложение в виду. Также важно знать, сколько «достаточно» или когда вы получаете «убывающую отдачу» для любого конкретного приложения.

Если вы действительно не понимаете электронику, оптику, физику ... абсолютные числа, вероятно, довольно бессмысленны.

Я доверяю DXoMark настолько, насколько я могу бросить их, и я не особенно хорош в толкании ядра. Они представляют собой интересный источник информации о лабораторных условиях и могут быть иногда полезны при сравнении камер одного и того же производителя, но в этих тестах слишком много переменных, которые отличаются от реальных условий, чтобы сделать их в целом полезными для сравнения камер, особенно из разных производители.

Как и на любом другом сайте, посвященном обзору камер, реальная производительность всегда важнее лабораторных условий. Если вы знаете, как читать информацию и понимать, что имеет и не имеет отношения к реальному миру, вы можете сделать некоторые значимые данные из DxOMark, но, по моему опыту, лучше всего взять их с большим количеством соли.