Фильтрация оценочных гомографий RANSAC

Я использую алгоритм RANSAC для оценки гомографии между парами изображений, снятых камерами, которые не имеют никакого перевода между ними (чистое вращение и изменение масштаба / масштабирования). Это хорошо работает в половине случаев. Правильный вывод выглядит так:

Красные линии - это фильтрованные соответствия, а четырехугольники показывают, как гомография искажает перспективу.

Однако иногда случается много плохих случаев, например:

У меня уже есть простой тест в цикле RANSAC. Он создает простой четырехугольник (единичный квадрат) и преобразует его с помощью примера преобразования. Затем выясняется, сохранилась ли трансформация своей выпуклости.

Тем не менее, однако, пучки вогнутых четырехугольников выходят.

Есть ли у вас какие-либо идеи, как правильно проверить гомографию, если она ведет себя «хорошо» и отфильтровывать неправильные решения?

Я нашел код, в котором они проверяют, что ни одна из трех преобразованных точек не является коллинеарной. Но этого недостаточно, поскольку он не отфильтровывает дельтовидные тела и другие «недействительные» четырехугольники ...

На эту тему есть интересная статья: http://link.springer.com/chapter/10.1007%2F978-3-642-17691-3_19#

В статье описывается метод фильтрации некоторых неправильных соответствий перед вычислением гомографий в алгоритме RANSAC.

Существует проблема в проверке, является ли гомография в порядке.

Алгоритм проверки правильности гомографий может кого-то заинтересовать, поэтому я запишу его здесь:

$ABDC$

$$\begin{eqnarray} A:& (-w/2,-h/2, 1.0) \\ B:& (w/2,-h/2, 1.0) \\ C:& (-w/2,h/2, 1.0) \\ D: &(w/2,h/2, 1.0) \end{eqnarray}$$

$w,h$

$A'B'D'C'$$C'=HC$

$\vec{u}$$\vec{v}$

$$\begin{eqnarray}d_{1} :& A+(D-A)s =A+ \vec{u}s \\ d_{2} :& B + (C-B)t=B+\vec{v}t \end{eqnarray}$$

$d_{1}=d_{2}$

$$t=\frac{1}{d}\left[(B_{y}-A_{y})\vec{u}_{x} - (B_{x}-A_{x})\vec{u}_{y}\right]$$

$$s=\frac{1}{d}\left[(A_{x}-B_{x})\vec{v}_{y} - (A_{y}-B_{y})\vec{v}_{x}\right]$$

$s,t \in (0,1)$

$s,t \in (\lambda, 1.0-\lambda)$$\lambda=0.01$

Старая проблема, исправленная в приведенном выше алгоритме:

Я обнаружил здесь проблему - имея определенную гомографию, тест может пройти для меньшего четырехугольника, но не для большего. Вот почему некоторые "плохие" гомографии прошли.

Зеленый квадрат представляет исходное изображение, оранжевый - преобразованный. Как видите, левая выпуклая, но начинает деформироваться при увеличении источника:

Наконец, еще больший источник дает не преобразованный четырехугольник:

$(x,y,w)$$x$$y$$w$

Я исправил алгоритм соответственно.

$x_i \sim Hx_i^'$$\sum_{j=1\dots n}\|x_j - Hx_j^'\|$$H^'$$x^' = H^'x$$\sum_{j=1\dots n}\|x_j - Hx_j^'\| + \|x_j^' - H^'x\|$

См. Хартли и Циссерман - Геометрия множественного обзора в Computer Vision, глава 4.2 и особенно 4.2.3 и уравнение (4.8).