Как работает Super Resolution?


10

Выбирая из этого вопроса, я прочитал статью в Википедии, но не могу понять, почему наложение копий одного и того же изображения друг на друга должно улучшить разрешение изображения?

Ответы:


13

Процесс сложен, но это должно дать интуицию в том, что происходит. Представьте, что у вас обычная камера, но с моторами для перемещения датчика на полпикселя в любом направлении.

Вместо того чтобы снимать одно изображение, этой камере нужно четыре: одно по центру, одно смещенное на полпикселя вправо, одно смещенное на полпикселя вниз, а другое - на половину пикселя вправо и на полпикселя вниз.

Затем мы можем взять центрированное изображение, удвоив его размер, разметив пиксели следующим образом:

xxxx               x x x x 
xxxx      ____\    
xxxx          /    x x x x 
xxxx               
                   x x x x

                   x x x x

Затем мы можем заполнить пробелы, используя другие смещенные изображения, 1, 2 и 3:

x1x1x1x1
23232323
x1x1x1x1
23232323
x1x1x1x1
23232323
x1x1x1x1
23232323

Оставив нам изображение с двойным разрешением. Интересно, что есть камеры, использующие эту технику, такие как Hasselblad H4D-200MS (извините, если вам нужно спросить, сколько вы не можете себе позволить).

Сверхразрешение со стандартной камерой немного сложнее, так как при неконтролируемом движении камеры или объекта вы не получите точного сдвига в половину пикселя, но если вам не повезет, ваше смещенное изображение будет смещено относительно оригинала. Комбинируя достаточное количество изображений, вы получите очень нерегулярно дискретизированное изображение (с выборками пикселей, которые не попадают в сетку), но которое можно интерполировать (путем трассировки линий между выборками, чтобы угадать результат, который попадает на точную линию сетки) в обычное изображение.


1
Важно помнить, что движение не должно происходить внутри камеры, это может быть сделано путем перемещения самой камеры. Вот почему супер разрешение очень хорошо работает с видео, поскольку камера почти всегда будет иметь небольшие движения между кадрами.
Хокон К. Олафсен

Эта морось или размывание широко используется в цифровой астрофотографии. Многие отдельные изображения наложены друг на друга, чтобы уменьшить шум, присущий изображению, и в то же время есть возможность восстановить значительные детали и разрешение.
Smigol

и как можно добиться этого путем объединения нескольких копий одной фотографии? Я в замешательстве, потому что после наложения вам придется выровнять, и это отменит сдвиг между пикселями, который выглядит как основная идея супер разрешения
K ''

1
@AkramMellice - сложение одного и того же не делает этого. Программное обеспечение может использоваться для проверки и потенциального «заполнения» информации на основе другой информации на изображении, но это будет не совсем идеально ... В любом случае, было бы невероятно здорово, если бы Pentax добавила эту функцию, что-то вполне возможно учитывая, что их анти-сотрясение находится на датчике, и это вариация того, как они делают астро-трассировку с GPS-модулем.
Джон Каван

3

Учтите, что датчик не идеальное устройство захвата. Каждый пиксель будет записан с некоторым количеством ошибок. Например, если самым точным значением пикселя является N, датчик запишет значение, которое находится в диапазоне N-E to N+Eдля данного значения E. Для хорошего датчика Eмаленький, плохой датчик будет больше E.

Также обратите внимание, что при каждой экспозиции у данного пикселя будет разная ошибка, у ячеек в датчике нет памяти, поэтому пиксель, который вышел один раз низким, может оказаться высоким в следующем.

Когда вы берете несколько экспозиций одного и того же объекта и усредняете их вместе, вы эффективно уменьшаете E. Для нашего примера пикселя выше, вы будете усреднять кучу разных значений, которые находятся вокруг неизвестного N, поэтому среднее приблизит вас к этому идеалу N.


3
Это не просто уменьшение ошибки - на самом деле в данном случае это не СУЩЕСТВЕННОЕ уменьшение ошибки - это получение БОЛЬШЕ информации путем многократного захвата номинально одних и тех же данных и поиска дополнительной информации, которая присутствует с разрешением, меньшим, чем шаг датчика. Добавление некоторого механического дрожания к датчику между выстрелами и последующее их изменение помогло бы этому. // Цифровая зеркальная камера Sony A77 и некоторые другие модели Sony имеют режим агрегации с малым шумом, который НЕ является просто программой усреднения. Вы можете существенно переместить камеру, так как она занимает 6 кадров и при этом получить улучшенное изображение.
Рассел МакМахон

1
Это объясняет, как работает укладка изображений для уменьшения шума. Хотя чрезмерный шум может помешать разрешению деталей, суперразрешение отличается, поскольку для увеличения разрешения требуется, по крайней мере, некоторое движение камеры.
Мэтт Грум

Как уже было сказано, вы описываете не супер разрешение, а укладку изображений. Это не увеличивает разрешение, но уменьшает шум.
Хокон К. Олафсен

В то время как в заголовке вопроса упоминается суперразрешение, вопрос в теле спрашивает о «наложении копий одного и того же изображения». То, что я объяснил, на самом деле является одним из многих способов увеличить разрешение ваших изображений, и это можно сделать с любой камерой.
Мигель

1

Вот как я понимаю вещи. Люди должны смело указывать на любые заблуждения, чтобы мы все назидались, но, надеюсь, на самом деле они будут указывать на то, что они заметят, а не просто бормотать в свое пиво. (или бороды или ...).

Проще говоря, на разных фотографиях информация немного различается, и для обнаружения и извлечения этой дополнительной информации и ее последовательного аддитивного объединения используются различные методы.

Стоит отметить, что система не гарантирует работу во всех случаях.
[Страница суперразрешения Википедии] отмечает:

  • В наиболее распространенных алгоритмах SR информация, полученная в изображении SR, была встроена в изображения LR в виде псевдонимов.

    Для этого требуется, чтобы датчик захвата в системе был достаточно слабым, чтобы наложение происходило на самом деле. Система с ограниченной дифракцией не содержит псевдонимов, а также система, в которой общая передаточная функция модуляции системы отфильтровывает высокочастотный контент.

Псевдоним - это способность системы правильно представлять данные соответствующих частот. Смотрите «объяснение» как конец.

Если я правильно понимаю их (и могу или не могу), их фраза «достаточно слабая» означает, что они представляют собой дополнительную информацию, которую датчик сам не может распознать, что обычно считается плохим, поэтому обычно по возможности подавляется, НО это «псевдоним» дополнительная информация необходима системе SR. Nikon D800r не имеет сглаживающего оптического фильтра на датчике, тогда как у стандартного D800 и почти у всех других зеркал есть такой фильтр.

MTF - это эффективная способность объектива создавать контрастное ИЛИ для создания «резкости» (два тесно связаны между собой. Обычно MTF лучше всего подходит ближе к середине объектива и, с прямоугольным изображением, падает к краям и обычно больше в углах изображения Они говорят, что способность системы создавать изображение с суперразрешением зависит от ее способности отображать контраст и резкость, то есть от ее качества. То есть объектив должен быть по крайней мере примерно таким же хорошим, как объектив, который будет создавать супер rsolutionj iomage непосредственно, если сенсор и возможности процесса были улучшены.


Псевдоним - это то, что происходит, когда поток информации дискретизируется настолько медленно, что часть высокочастотной информации изменяется быстрее, чем частота дискретизации, и «оборачивается» и выглядит так, как будто это действительно низкочастотный компонент. В ограничивающей системе частота дискретизации должна быть как минимум вдвое выше, чем самая высокая скорость передачи информации, но на практике требуется несколько более высокая скорость, чем требуется.

Простой пример:

  • Рассмотрим последовательность 0 1 2 3 4 5 6 5 4 3 2 1 0 1 2 3 4 5 6 5 4 3 2 1 0 1 2 3 4 5 6 ...

    Очевидно, что есть шаблон, который повторяется каждые 12 единиц.
    Это треугольник пр., Который увеличивается на 6 циклов и уменьшается еще на 6 циклов, а затем повторяется с периодом = 12 единиц.

    Теперь проверяйте последовательность только одиннадцатый раз. Мы получаем
    0 1 2 3 4 5 6 5 4 3 2 1
    Это точно такая же картина, НО она меняется в 11 раз медленнее - треугольная волна с периодом 11 x 12 = 132 единицы.

    Пробуйте ту же самую последовательность каждый восьмой раз, и вы получите 0 4 4 0 4 4 0 4 4,
    то есть она выглядит как прямоугольная волна 1: 2 с периодом = 24 единицы.

    Любой период выборки, превышающий 6 единиц времени = половина цикла, приведет к таким ошибкам сглаживания.

Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.