Расчет гомографии на основе обнаруженных линий

Я знаю, что вы можете рассчитать гомографии от изображения к плоскости камеры, используя точки соответствия между «идеальной моделью» и точками изображения.

Я делаю это для футбольного поля / поля и использую обнаружение краев, чтобы найти белые линии на поле.

Но камера (не всегда) покрывает все поле, поэтому я не могу видеть все углы ... и я только на углах на 100% известных точек в модели (других отличительных точек нет).

Так что проблема в том, что если линия не пересекается с другой линией и не образует угол, я знаю только точки изображения линии, а не соответствующие ей координаты "идеальный / реальный" в модели.

Можно ли каким-то образом использовать обнаруженные линии для вычисления гомографии или даже просто набор кандидатских гомографий , даже если обнаруженные линии не пересекаются друг с другом и создают угол?

Пример изображения, показывающий высоту, наше поле зрения и точки поля, где я могу узнать соответствующие координаты реального мира / модели (зеленые кружки), а также пример двух линий, которые могут быть совершенно бесполезными, поскольку в нашем поле зрения Я понятия не имею, в какой момент они начинаются или останавливаются в соответствующем реальном мире / модели поля:

Красные линии - примеры линий, которые я хотел бы использовать, но я не знаю их координат в реальном мире, и их довольно сложно оценить, потому что в зависимости от положения камеры соответствующие точки могут быть «где угодно».

Я объясню два подхода к этому:

1) Один из подходов требует алгоритма сопоставления строк. После сопоставления линий вы можете просто использовать конечные точки линий для вычисления гомографии. Для достижения этого в OpenCV недавно были предложены дескрипторы на основе EDLine или LSD. Также реализовано хеширование и быстрое их сопоставление. Проверьте видео здесь:

http://www.youtube.com/watch?v=MqMjvSkM39k

http://www.youtube.com/watch?v=naSWTlbg3To

Последний репозиторий opencv_contrib содержит исходный код для этих методов.

В случае, если конечные точки линии являются шумными, вы можете напрямую использовать линии для вычисления гомографий. Такие документы будут читать:

Внутренний отчет: 2005-V04 Вычислительные гомографии из трех линий или точек в паре изображений Дж. Лопес-Николас, Дж. Дж. Герреро, О. А. Пелледжеро, К. Сигс

Внутренний отчет: 2003-V01 Надежное сопоставление линий и оценка гомографий одновременно Г. Лопес-Николас

Вероятностное сопоставление линий для их гомографии Таэмин Ким, Джихван Ву и Ин Со Квеон

2) Здесь есть один метод, специфичный для полей:

« Использование линейных и эллиптических функций для выпрямления трансляционного хоккейного видео », Гупта, Анкур, Джеймс Дж. Литтл и Роберт Дж. Вудхэм Компьютерное и роботизированное видение (CRV), Канадская конференция 2011 года. IEEE, 2011.

и

« Объединение линейных и точечных соответствий для оценки гомографии », Дуброфски, Элан и Роберт Дж. Вудхем . Международный симпозиум по визуальным вычислениям. Springer Berlin Heidelberg, 2008.

$\mathbf{l}_i=(u,v,1)^T$$\mathbf{l}_i^{'}=(x,y,1)^T$

$$\mathbf{l}_i^{'} = \mathbf{H}^T \mathbf{l}_i$$

В этой форме уравнение может быть непосредственно включено в метод DLT:

$$A_i = \begin{bmatrix} -u & 0 & ux & -v & 0 & vx & -1 & 0 & x \\ 0 & -u & uy & 0 & -v & vy & 0 & -1 & y \end{bmatrix}$$

Единственная разница - нормализация, которую вы найдете в ссылках выше.

$x$$C$$x^TCx=0$

$$C' = H^{-T}CH^{-1}$$

Приведенные выше ссылки также объясняют, как вставить это ограничение в алгоритм DLT.

Используя эллипсы и линии, можно получить устойчивые проективные отношения.

Если линии не параллельны, вы можете рассчитать точку их пересечения и использовать ее в качестве ориентира. В вашей картине вы также можете использовать фиолетовые точки:

Кстати, пересечение линий не обязательно должно быть на изображении. Пока линии параллельны

Если линии параллельны, вы можете использовать их для получения дополнительных ограничений. Например, если у вас N <4 точек и K линий, вы можете оценить преобразование

Напомним, что уравнение проективного преобразования имеет вид:

$x' = \frac{\left ( a_{11}x+a_{12}y+a_{13} \right ) } {\left ( a_{31}x+a_{32}y+1 \right )} \\ y' = \frac{\left ( a_{21}x+a_{22}y+a_{23} \right ) } {\left ( a_{31}x+a_{32}y+1 \right )}$

$a_{11},a_{12},a_{13},a_{21},a_{22},a_{23},a_{31},a_{32} \\$

$ax+by+c=0$$Ax'+By'+C$

$Ax'+By'+C = 0 \implies \\ A(a_{21}x+a_{22}y+a_{23}) + B(a_{21}x+a_{22}y+a_{23}) + C( a_{31}x+a_{32}y+1) = 0$

Это может быть переписано как:

$\left( \begin{array}{ccc} Ax & Ay & A & Bx & By & B & Cx & Cy \\ \end{array} \right) \left( \begin{array}{ccc} a_{11} \\ a_{12} \\ a_{13} \\ a_{21} \\ a_{22} \\ a_{23} \\ a_{31} \\ a_{32} \\ \end{array} \right) = -C$

$A,B,C$$(x,y)$$ax+by+c = 0$

Дополнительные ссылки « Оценка гомографии по Элану Дубровскому » - см. Часть 2.3.1, оценка гомографии по линиям.