Улучшение разрешения изображения CSI: насколько это реально?

Итак, я посмотрел следующий клип на 1 минуту с YouTube из CSI New York . В клипе, используя то, что кажется записью со стандартной банковской камеры, они увеличивают как минимум до 100 и видят изображение преступника в отражении глаза девушки.

Теперь, я думал, что это было совершенно нелепо, настолько, что я подумал, что это действительно очень смешно.

Однако мой друг утверждал, что есть очень хорошие приемы для улучшения изображения, такие как «суперразрешение» - процедура, при которой несколько кадров видео создают изображение с гораздо более высоким разрешением. Он действительно думал, что шоу изгибает правду немного, но сколько?

Честно говоря, я ничего не знаю об этих вещах, поэтому мой вопрос:

Насколько хорошо современное улучшение разрешения изображения? Кроме того, как далеко находятся телевизионные программы CSI?

Спасибо,

Замечание: это кросс опубликовано на сайте Skeptics. Мне сказали, что я мог бы получить лучшие ответы здесь.

Короткий ответ: вы можете получить очень хорошие результаты, но только при определенных условиях и абсолютно не близко к тому, что показано в связанном видео ролике.

Моя компания, Amped Software разрабатывает программное обеспечение для обработки изображений и видео для судебно - медицинской экспертизы и разведывательных приложений, поэтому в основном мы в реальном мире аналог программного обеспечения CSI.

Говоря об общей проблеме повышения качества, я могу вам сказать, что для нашего рынка это огромная проблема, чтобы оправдать ожидания, связанные с сериалами и голливудскими фильмами. На нашей странице примеров вы можете видеть, что иногда результаты, которые мы можем получить, действительно удивительны, но важно понимать, что мы можем получить их только при определенных условиях: если есть информация, которая покрыта помехами, но она есть мы можем его восстановить. Если информации нет, мы не можем и не должны ее воссоздавать. В этом конкретном приложении важно не только получить результаты с визуальной точки зрения, но и следовать научному процессу, который должен быть принят судом .

В прошлом году я представил исследование, описывающее проблемы и результаты почти 200 случаев, над которыми я работал, и в итоге я получил следующее:

• в более чем 50% случаев делать нечего (например, восстановить номерной знак размером 5x2 пикселей абсолютно невозможно с любым программным обеспечением в мире);
• примерно в 30% случаев мы можем получить небольшой результат (например, восстановить букву номерного знака или улучшить общий вид лица);
• в 10% случаев вы получаете хорошие результаты (например, большую часть номерного знака).

Обратите внимание, что во всех этих случаях были серьезные проблемы с качеством. Если их качество было хорошим, нас не просили поработать над ними.

Что касается конкретно улучшения разрешения :

• когда вы увеличиваете изображение, вы интерполируете недостающие пиксели: из одного изображения вы можете визуально улучшить внешний вид изображения, но вы не добавите никаких реальных деталей ;
• Методы сверхвысокого разрешения могут дать хорошие результаты при определенных условиях: у вас должно быть достаточно кадров, смещенных на нецелое количество пикселей и предпочтительно с несколькими артефактами сжатия. В лучшем случае вы можете ожидать хороших результатов в 2x и 3x кратном увеличении.

То, что показано в видеоклипе, возможно только в том случае, если исходное видео было снято с разрешением в несколько мегапикселей, и тогда у вас будет разрешение для очень близкого увеличения (более или менее, как вы делаете это на Google Maps). Конечно, в этот момент все еще будут другие проблемы, такие как правильная фокусировка, плохое освещение, тот факт, что перспектива глаза отличается от перспективы всего объекта в видео, и это лишь некоторые из них.

Вы не можете сделать что-то из ничего, вы должны иметь (или догадываться) некоторую информацию, чтобы иметь возможность каким-либо образом улучшить изображение. Например, если вы знаете свойства функции размытия (и нет шума на изображении), тогда вы действительно можете размазывать фотографию. Однако вы редко знаете, что функция размытия и шум присутствуют всегда, что сильно ограничивает то, что вы можете восстановить (Adobe недавно продемонстрировала фильтр unblur, но их демонстрация была с синтетическим размытием).

Короче говоря, CSI - это почти чистая выдумка - выгоды, которые возможны в реальной жизни, незначительны, ничего подобного увеличению разрешения в 5 раз, которое представлено по телевизору.

Проверка работоспособности: если бы они могли все это сделать, люди не заплатили бы десятки тысяч за камеры Hasselblad 40+ MP, было бы дешевле просто скопировать программное обеспечение!

редактировать: я как-то не заметил оригинальный вопрос упомянутое супер-разрешение из видео. Сверхразрешение нескольких изображений возможно в реальности, но только с учетом ограничений датчика. Он работает с использованием набора изображений с субпиксельными сдвигами. Это дает информацию о значениях между пикселями, что позволяет создать изображение с более высоким разрешением. Суперразрешение из видео работает, потому что движущийся объект создает такие же сдвиги, однако внешний вид объектов не должен сильно меняться между кадрами. Техника в лучшем случае дает вам результаты только с датчиком с более высоким разрешением, вы не можете преодолеть пределы разрешающей способности объектива, которые были бы весьма ограничены для объективов CCTV.

Вот пример сверхразрешения при хороших условиях:

_{(источник: wikimedia.org )}

изображение с photoacute.com

улучшение разрешения, да, но все еще далеко от уровня CSI.

Чтобы сослаться на мой комментарий выше, последние Hasselblads на самом деле реализуют сверхвысокое разрешение сенсора под названием «захват нескольких кадров», так что вы все еще не можете победить производителей среднего формата в их собственной игре, используя умное программное обеспечение ...

Итак, это то, что я имею до сих пор:

Площадь глаза, где они видят баскетбол, составляет около 1 квадратного миллиметра. Исходя из роста девушки, мы можем с уверенностью оценить, что она должна составлять не более 1 миллионной доли от общего числа пикселей на экране. (Ширина и высота изображения, хотя и недостаточно четко определены для фотографий, поскольку некоторые объекты могут быть ближе, выглядят примерно 3 х 3 метра, что будет означать 10 миллионов квадратных миллиметров. Однако глаз может быть ближе к объективу реальной камеры, поэтому Я грубо оцениваю и делю на 10 $.)

Если бы запись была HD-качества, это все равно было бы всего 2 мегапикселя, поэтому, где мы видим, баскетбол должен быть размером в один пиксель.

Я думаю, что рассуждения, несомненно, показывают, что это неправда, но я все еще задаюсь вопросом, каковы верхние пределы для улучшения изображения?

Существует некоторое коммерчески доступное программное обеспечение с Super Resolution. Я сам не пробовал ничего из этого, но рекламный материал довольно хорош. Программное обеспечение предназначено для наблюдения, безопасности и вооруженных сил, но я думаю, что некоторые судебные подразделения будут иметь доступ к этому материалу.

Два примера: Ikena из MotionDSP и TacitView из 2d3

Повышение качества изображения / видео до уровня, предлагаемого в телешоу, просто невозможно, и фактически ограничено устройством захвата изображения. Это технология, которая должна развиваться в первую очередь.

Невозможно получить информацию из набора из 10 пикселей в узнаваемый объект. На уровне пикселей это окончательный объем информации, представленной на изображении. У вас есть только 100 цветных блоков в этом конечном увеличении. Вы можете увеличить область 10x10 пикселей до 100x100 пикселей с помощью интерполяции, но информация в 10x10 пикселей - это все, что нужно, и интерполяция опирается на образованные предположения, основанные на этих 10 x 10 пикселей программным обеспечением. Результатом будет размытие 100 х 100 пикселей. В качестве альтернативы, возьмите изображение размером 2000x2000 пикселей и интерполируйте его до 4000x4000 пикселей, и некоторые нечеткие размытия на исходном изображении могут выглядеть более четкими, чем возможные объекты на большом изображении, чисто через пареидолию - но даже тогда это предположение или предположение. Интерполированное изображение дало бы «иллюзию» большего количества деталей,

Улучшение изображения основывается исключительно на максимальном объеме информации, получаемой через оригинальный источник изображения, и масштабирование в пикселях - это все, что есть. Некоторые камеры могут снимать изображения с очень хорошим разрешением, но никакое программное обеспечение не может выявить детали, которые не записаны в исходном изображении.

Теперь, чтобы вернуться к шоу CSI, большинство из них снимают ваши стандартные кадры с камер наблюдения, которые, во-первых, не очень высокого разрешения в реальной жизни, поэтому, когда я вижу такого рода улучшения на шоу, это просто заставляет меня смеяться - поскольку это невозможно даже с самой продвинутой формой программного обеспечения для редактирования изображений (и PhotoShop хорошо и действительно находится в верхней части расширенного масштаба). Улучшение изображения и масштабирование на 100% основаны на информации, получаемой устройством обработки изображений - поэтому камера наблюдения, способная захватывать отражение лица человека на чьей-то роговице глаза, должна быть сверхмощной и невероятно дорогой , Видеозапись должна иметь невероятно высокое разрешение пикселей на кадр (скажем, 100 мегапикселей или около 9,5 терабайт для хранения 1 секунды отснятого материала), что приведет к увеличению размера файла видеоряда до такой степени, что каждой камере видеонаблюдения потребуется небольшая ферма серверов для хранения отснятого материала за 24 часа. Очень дорого. Получающаяся в результате технология улучшения будет опираться на устройства захвата изображений, способные в первую очередь выполнять этот уровень детальной видеозаписи и захвата изображений, чтобы хранить данные удобным способом и быть в такой ситуации, что это недорого для развертывания по городам. Размер файла будет настолько огромным на видео (помните, что он составляет около 9,5 терабайт в секунду), что для работы программного обеспечения потребуется чрезвычайно мощный суперкомпьютер (по современным стандартам). С развитием технологий с такой скоростью, как это возможно, это может быть возможно в какой-то момент в будущем, возможно, при нашей жизни. Только тогда они смогут это сделать, но изображения не будут улучшены, они будут только приближаться к супер подробным изображениям. Я знаю это, поскольку я работаю в области цифровых изображений в течение всей жизни.