Регистрация изображений методом сегментации

Алгоритмы регистрации изображений обычно основаны на точечных объектах, таких как SIFT (масштабно-инвариантное преобразование объектов).

Я видел некоторые ссылки на линейные объекты, но мне было интересно, можно ли будет совмещать сегменты изображения вместо точек . Например, данный источник и преобразованное изображение:

введите описание изображения здесь

Я могу сделать обнаружение краев, размытие и Watershed Transform для каждого:

введите описание изображения здесь

К сожалению, сегментация оказалась слишком разной на каждом изображении, чтобы соответствовать отдельным сегментам.

Я видел несколько работ по сопоставлению форм и дескрипторов форм, которые инвариантны к аффинным преобразованиям, поэтому эта область выглядит многообещающей ...

Существуют ли какие-либо методы сегментации, более устойчивые к аффинным (или даже проективным) деформациям изображения?

local-features image-segmentation image-registration

— ЛИБОР
источник

Мой здравый смысл подсказывает мне, что меньшие регионы более устойчивы к глобальным преобразованиям. Таким образом, сегментация должна иметь много маленьких сегментов. Кроме того, некоторые конкретные формы инвариантны к некоторым преобразованиям (например, круги к поворотам)

— Андрей Рубштейн,

MSER (максимально устойчивые экстремальные области) - это области, а не точки. И они инвариантны к аффинной трансформации. Но, строго говоря, это не метод сегментации.

— Ники Эстнер

@nikie Если вы оставите свой комментарий в качестве ответа, я приму его. Я был заинтересован в сегментации, так как особенности региона содержат некоторую информацию о преобразовании изображений и могут быть использованы для угадывания преобразования между изображениями. Я обязательно изучу статью о MSER.

— Libor

В настоящее время я работаю над CBIR, используя деревья компонентов. Представление дерева компонентов в изображении не будет сильно зависеть от деформаций (даже проекционных) изображения, различные уровни позволят проводить сравнения и операции вплоть до разного уровня детализации и должны работать лучше, чем современные методы на изображениях с низкой текстурой. , Пока это только тема исследования, только что началось, но, надеюсь, что-то в подходе есть, иначе мне не дали бы на это грант. Но, если кто-то сделал что-то подобное, это может быть полезно.

— Пенелопа

@penelope Эти работы над CBIR также могут быть полезны для мозаики изображений (мой особый интерес), где у нас есть набор изображений с похожими функциями. В настоящее время популярным подходом является многомерный поиск по дескрипторам точек (например, SIFT), который может привести к ложным совпадениям между изображениями, в то время как «области» или «компоненты», а не точки, могут их различать. Есть ли у вас ссылки на статьи о представлении изображений в дереве компонентов? Большое спасибо.

— Libor

Ответы:

MSER (максимально устойчивые экстремальные области) - это области, а не точки. И они инвариантны к аффинной трансформации. Но это не метод сегментации, строго говоря

Неформально говоря, идея состоит в том, чтобы найти капли с различными порогами, а затем выбрать капли, которые имеют наименьшее изменение формы / площади в диапазоне порогов. Эти области должны быть стабильными для большого диапазона градаций серого и геометрических преобразований.

— Ники Эстнер
источник

В настоящее время я работаю над CBIR, используя деревья компонентов , что должно быть относительно новой идеей. Некоторые ожидаемые преимущества использования деревьев компонентов для описания изображений:

Представление дерева компонентов в изображении не будет сильно зависеть от деформаций (даже проективных) изображения
Изучение разных уровней дерева позволило бы сравнивать и обрабатывать детали с разным уровнем детализации.
Дискриминация и описание должны работать лучше, чем современные методы для изображений с низкой текстурой.

Поскольку я только начал исследования, связанные с этой темой, у меня есть лишь смутное представление о моих целях: представить изображение с помощью дерева компонентов, а затем сравнить указанные деревья компонентов, либо непосредственно, найдя векторизованное представление. Я, вероятно, смогу сказать гораздо больше через несколько недель (или месяцев), но сейчас я могу предложить только список статей, рекомендованных мне в качестве введения в деревья компонентов (я их еще не читал):

Я могу обновить ответ, если найду что-то подходящее.

Кроме того , если ваша цель состоит в том, чтобы, таким образом, более точно соответствовать изображениям регионов , а не только точек , потому что регионы могут быть более дискриминационными, было приятно предложение в J. Sivic и А. Зиссермане: «Видео Google: текстовое индексирование Подход к сопоставлению объектов в видео » .

Я имею в виду раздел, посвященный пространственной согласованности , где группа совпадений между характерными точками принимается, только если характерные точки сохраняют одинаковую пространственную конфигурацию на обоих изображениях. Таким образом, сопоставление зависит не только от типа извлеченного признака (DoG, MSER, ...) или дескриптора (SIFT), но оно также смотрит на более широкое окружение характерной точки, делая его (хотя бы немного) зависит от региона.

— Пенелопа
источник