Обнаружение следа в лесных изображениях

Кто-нибудь знает о каких-либо исследованиях / работах / программном обеспечении для идентификации следа (в виде линии или кривой точка-точка) на изображении лесной сцены (с точки зрения камеры, стоящей где-то вдоль следа)?

Я пытаюсь найти алгоритм, который мог бы взять изображение, как:

и создайте маску, идентифицирующую вероятный «след», такой как:

Как видите, исходное изображение немного размыто, что является целенаправленным. Источник изображения не может гарантировать идеальную фокусировку, поэтому я должен уметь справляться с разумным количеством шума и размытости.

Моей первой мыслью было применить размытие по Гауссу и сегментировать изображение по блокам, сравнивая соседние блоки в поисках резких цветовых различий (указывая «край» следа). Однако я быстро понял, что тени и другие изменения в освещении легко отбрасывают это.

Я думал об извлечении функций SURF, но с SURF / SIFT я добился успеха только тогда, когда изображение идеально четкое и с постоянным освещением.

Я также попытался уменьшить размеры изображений и масок до гораздо меньших размеров (например, 100x75), преобразовать их в векторы 1xN и использовать их для обучения нейронной сети на основе FANN (где изображение является входным сигналом, а маска - желаемой выход). Даже при таком небольшом размере, с 1 скрытым слоем и размером входного вектора 75%, обучение заняло 6 часов, и все равно не удалось предсказать маски в тестовом наборе.

Кто-нибудь может предложить какие-либо другие методы или документы по этому вопросу?

Само по себе этого может быть недостаточно, но поскольку одна из проблем связана с вариациями освещения, может помочь этап предварительной обработки удаления тени. Техника, о которой я думаю, описана в следующей статье:

«Об удалении теней из изображений», Г.Д. Финлейсон, С.Д. Хордли, К. Лу и М.С. Дрю, IEEE Pattern Analysis and Machine Intelligence (PAMI), том 28, № 1, январь 2006 г., с.59- 68. http://www.cs.sfu.ca/~mark/ftp/Pami06/pami06.pdf

Первая часть процесса создает изображение в градациях серого, инвариантное к освещению, что, вероятно, то, что вам нужно в этом случае. Вот снимок примера, который они приводят в газете:

_{(источник: datageist.com )}

Фактически, чтобы сделать изображение «цветности» еще одним шагом вперед, вам нужно четко различать живые и мертвые листья. Еще раз пример из бумаги:

_{(источник: datageist.com )}

Суть в том, что камера должна быть откалибрована в первую очередь. Предполагая, что это возможно, некоторая комбинация описываемых ими представлений, вероятно, сделает другие методы, которые вы используете, более эффективными.

Я не верю , что у вас есть достаточно информации в исходном изображении , чтобы произвести изображение маски. Вы можете начать с сегментирования по цвету, т. Е. Зеленый - это не след, а серый / коричневый. Однако на «границах следов» есть серые / коричневые области, которые не представлены в вашей маске. (См. Нижний левый сектор вашего исходного изображения.)

Маска, которую вы предоставляете, подразумевает структурные ограничения, не видимые на исходном изображении: например, возможно, ваши трейлы имеют фиксированную ширину - тогда вы можете использовать эту информацию, чтобы ограничить предварительную маску, возвращаемую вашим распознавателем образов.

Продолжая тему структуры: сливаются ли трассы с другими? Описаны ли тропы с определенными характеристиками почвы / гравия? Как человек (который достаточно хорош в распознавании образов!), Мне бросают вызов особенности, показанные в левом нижнем квадранте: я вижу серые / коричневые области, которые я не могу сбрасывать со счетов как «след». Возможно, я мог бы сделать это окончательно, если бы у меня было больше информации: карта и грубо известное местоположение, личный опыт на этом пути или, возможно, последовательность изображений, ведущих к этой точке - возможно, эта точка зрения не столь неоднозначна, если распознаватель «знает» «что привело к этой сцене.

Коллекция изображений является наиболее интересным подходом на мой взгляд. Продолжая эту мысль: одно изображение может не предоставить достаточно данных, но панорамный вид может устранить неоднозначность сцены.

Там нет единого алгоритма, который волшебным образом обнаруживает следы в случайном изображении. Вам нужно будет внедрить программу, основанную на машинном обучении, и «обучить» ее для обнаружения следов. Не вдаваясь в подробности, вот примерный план того, что вы будете делать в рамках контролируемого подхода к обучению.

1. Вам понадобится набор «обучающих примеров», под которыми я подразумеваю несколько изображений трасс в разных средах, в которых вы (руководитель) пометили то, что считается «следом», а что означает фон «лес». Вы разбиваете изображения на более мелкие участки (обычно 8x8) и преобразуете их в «пространство признаков», беря DCT (дискретное косинусное преобразование) блоков. В этом случае DCT каждого блока дает 64-элементный «вектор признаков».

2. Определяя пространство пространственных объектов , набор функций (подмножество вашего 64-точечного вектора пространственных объектов) и пространство классов с классами и , вы вычисляете из ваших тренировочных наборов:$\mathcal{X}$У у 1 = т г я л у 2 = F Ø R E сек $\mathbf{x}$$\mathcal{Y}$$y_1=trail$$y_2=forest$

   • класс условных распределений
     • $\mathcal{P}_\mathcal{X|Y}(\mathbf{x}|trail)$ , условная плотность для объектов, когда класс является . $trail$
     • $\mathcal{P}_\mathcal{X|Y}(\mathbf{x}|forest)$ , условная плотность для объектов, когда класс является . $forest$
   • класс вероятностей или предшествующий
     • $\mathcal{P}_\mathcal{Y}(trail)$ , вероятность обнаружения в блоке$trail$
     • $\mathcal{P}_\mathcal{Y}(forest)$ , вероятность нахождения в блоке$forest$

3. При этом вы проверяете свое изображение (снова разбивая его на более мелкие кусочки) и вычисляете апостериорную вероятность. Используя теорию решений Байеса, вы бы определили свои бинарные (в данном случае) критерии выбора

   $$\widetilde{y}_i(\mathbf{x})=\arg \max_{y_i}\quad \mathcal{P}_\mathcal{X|Y}(\mathbf{x}|y_i)\ \mathcal{P}_\mathcal{Y}(y_i)$$ где вы назначаете каждый блок тому классу, который имеет наибольшую апостериорную вероятность. Это приведет к вашей двоичной маске.

Обратите внимание, что это очень упрощенный обзор подхода. Есть несколько вещей, которые следует принять во внимание, и наиболее важным из них является выбор правильного набора функций для вашей проблемы. Вы также можете делать более сложные вещи, такие как использование смешанных моделей и оценки плотности на основе ядра, но все это слишком детально и требует много времени, чтобы написать ответ.

Для мотивации и подтверждения того, что этот подход стоит попробовать, вот пример из того, что я сделал давным-давно как домашнее задание курса, которое очень похоже на то, чего вы пытаетесь достичь. Задача состояла в том, чтобы обнаружить животное по фоновой растительности (левое изображение). На рисунке справа показана двоичная маска, полученная после «обучения», чтобы различать передний план и задний план.

Чтобы узнать больше о машинном обучении, вы можете посмотреть несколько учебников. Один из хорошо известных и часто рекомендуемых учебников в этой области:

Т. Хасти, Р. Тибширани и Дж. Фридман, Элементы статистического обучения: сбор данных, вывод и прогнозирование. 2-е изд., Springer-Verlag (2008)

который теперь доступен как бесплатный PDF по предоставленной ссылке. Еще одна достойная книга:

RO Duda, PE Hart and DG Stork, классификация образцов , 2-е издание, John Wiley & Sons (2001)

Это представляет какой-либо интерес?

Обнаружение поверхности в режиме реального времени путем слияния цветового пространства и временного анализа

Это похоже на проблему для сегментации текстуры (а не цветовой сегментации). Существует много методов,

они часто используют вейвлеты Габора, например: http://note.sonots.com/SciSoftware/GaborTextureSegmentation.html

Сегментация на основе суперпикселей http://ttic.uchicago.edu/~xren/research/superpixel/

и аналогичная сегментация разреза графа http://en.wikipedia.org/wiki/Graph_cuts_in_computer_vision

вот обзор вики http://en.wikipedia.org/wiki/Segmentation_(image_processing)