Оценка 3D-положения с помощью 2D-камеры

У меня есть камера (iPhone), у меня есть 3D-объект управления на изображении, который я очень хорошо знаю его свойства. (Мой контрольный объект). Существует также вторичный объект в движении. Конечная цель состоит в том, чтобы установить трехмерную траекторию движущегося объекта за заданный период времени. (Tracking)

Я хотел бы спросить, могу ли я узнать?

• Расстояние телефона до объекта управления (для обсуждения давайте предположим, что камера находится на определенной высоте, а определенное расстояние ни одно из них не известно, но камера перпендикулярна известной поверхности)

• Вторичный объект, где я могу найти объект в каждом последующем кадре. Моя цель - оценить его трехмерную траекторию, как я указал выше.

Дополнительный вопрос: мы можем сделать систему такой, чтобы расстояние телефона до объекта управления можно было установить (хотя и не было бы предпочтительным), поможет ли это мне со вторым пунктом?

Если у вашего объекта есть 6 известных точек (известные трехмерные координаты, и Z ), вы можете вычислить местоположение камеры, относящееся к системе координат объектов.$X, Y$$Z$

Сначала немного основ.

Однородная координата вектор представление евклидова координат , в которых мы прилагаемый так называемом масштабном фактор со | такое , что однородная координатой X = & omega ; [ X Y Z 1 ] T . В ваших собственных расчетах старайтесь поддерживать ω = 1 как можно чаще (это означает, что вы «нормализуете» однородную координату, разделив ее на последний элемент: X ← $(X,Y,Z)$$\omega$$\textbf{X} = \omega \begin{bmatrix}X & Y & Z & 1\end{bmatrix}^T$$\omega=1$ ). Мы также можем использовать однородное представление для 2D-точек так, чтобыx=ω[ X Y 1 ](помните, что этиω,X,YиZразличны для каждой точки, будь то 2D или 3D-точка). Гомогенное представление координат облегчает математику.$\textbf{X} \leftarrow \frac{\textbf{X}}{\omega}$$\textbf{x} = \omega\begin{bmatrix}X & Y & 1\end{bmatrix}$$\omega, X,Y$$Z$

Матрица камеры представляет собой матрицу проекции из трехмерного мира на датчик изображения:$3\times4$

$$\textbf{x} = P\textbf{X}$$

Где - это точка на датчике изображения (с пиксельными единицами), а X - проецируемая 3D-точка (скажем, в качестве единицы измерения используются миллиметры).$\textbf{x}$$\textbf{X}$

Мы помним, что кросс-произведение между двумя 3-векторами можно определить как умножение матрицы на вектор, так что:

$$\textbf{v} \times \textbf{u} = \\ ( \textbf{v} )_x \textbf{u} = \\ \begin{bmatrix} 0 & -v_3& v_2 \\ v_3 & 0 & -v_1 \\ -v_2 & v_1 & 0 \end{bmatrix} \textbf{u}$$

Также полезно отметить, что перекрестное производство .$\textbf{v} \times \textbf{v} = \textbf{0}$

Теперь попробуем решить матрицу проекции из предыдущих уравнений. Умножим уравнение проекции с левой стороны на матрицу кросс-произведения x s:$P$$\textbf{x}$

$$(\textbf{x})_x\textbf{x} = (\textbf{x})_xP\textbf{X} = \textbf{0}$$

Ага! Результат должен быть нулевым вектором. Если мы теперь откроем уравнение, мы получим:

$$\begin{bmatrix} 0 & -w& y \\ w & 0 & -x \\ -y & x & 0 \end{bmatrix} \begin{bmatrix} P_{1,1} & P_{1,2} & P_{1,3} & P_{1,4} \\ P_{2,1} & P_{2,2} & P_{2,3} & P_{2,4} \\ P_{3,1} & P_{3,2} & P_{3,3} & P_{3,4} \end{bmatrix} \textbf{X} \\ = \begin{bmatrix} P_{3,4} W y - P_{2,1} X w - P_{2,2} Y w - P_{2,4} W w + P_{3,1} X y - P_{2,3} Z w + P_{3,2} Y y + P_{3,3} Z y \\ P_{1,4} W w + P_{1,1} X w - P_{3,4} W x + P_{1,2} Y w - P_{3,1} X x + P_{1,3} Z w - P_{3,2} Y x - P_{3,3} Z x \\ P_{2,4} W x + P_{2,1} X x - P_{1,4} W y - P_{1,1} X y + P_{2,2} Y x - P_{1,2} Y y + P_{2,3} Z x - P_{1,3} Z y \end{bmatrix} = \textbf{0}$$

$P$

$$\tiny \begin{bmatrix} 0 & 0 & 0 & 0 & - X\, w & - Y\, w & - Z\, w & - W\, w & X\, y & Y\, y & Z\, y & W\, y\\ X\, w & Y\, w & Z\, w & W\, w & 0 & 0 & 0 & 0 & - X\, x & - Y\, x & - Z\, x & - W\, x\\ - X\, y & - Y\, y & - Z\, y & - W\, y & X\, x & Y\, x & Z\, x & W\, x & 0 & 0 & 0 & 0 \end{bmatrix} \begin{bmatrix} \textbf{P}_1 \\ \textbf{P}_2 \\ \textbf{P}_3 \\ \end{bmatrix} = \textbf{0}$$

$\textbf{P}_n$$n$$P$

Небольшая пауза, чтобы мы могли собраться. Обратите внимание, что предыдущее матричное уравнение должно быть сформировано для каждого известного 3D-> 2D-соответствия (их должно быть не менее 6).

$2\times12$$A$

$$A\begin{bmatrix} \textbf{P}_1 \\ \textbf{P}_2 \\ \textbf{P}_3 \\ \end{bmatrix} = \textbf{0}$$

$$\begin{bmatrix} \textbf{P}_1 \\ \textbf{P}_2 \\ \textbf{P}_3 \\ \end{bmatrix} = \textbf{0}$$

К счастью, мы можем использовать разложение по сингулярным числам (SVD), чтобы заставить

$$\| \begin{bmatrix} \textbf{P}_1 \\ \textbf{P}_2 \\ \textbf{P}_3 \\ \end{bmatrix} \|=1$$

$A$$P$$\begin{bmatrix} \textbf{P}_1 & \textbf{P}_2 & \textbf{P}_3 \end{bmatrix}^T$$P$

$P$

$$P = K\begin{bmatrix}R & -R\textbf{C}\end{bmatrix}$$

$\textbf{C}$$P$$P$

(Хартли, Циссерман - Геометрия с несколькими взглядами в компьютерном зрении)

$X$

$$\textbf{x}_1 = P_1 \textbf{X} \\ \textbf{x}_2 = P_2 \textbf{X} \\ $$

$$(\textbf{x}_1)_xP_1\textbf{X} = \textbf{0} \\ (\textbf{x}_2)_xP_2\textbf{X} = \textbf{0} \\ $$

И так далее.