3D-Positionsschätzung mit 2D-Kamera

Ich habe eine Kamera (iPhone), ich habe ein 3D-Steuerobjekt im Bild, dessen Eigenschaften ich sehr gut kenne. (Mein Kontrollobjekt). Es ist auch ein sekundäres Objekt in Bewegung. Das ultimative Ziel ist es, die 3D-Trajektorie des sich bewegenden Objekts für einen bestimmten Zeitraum zu bestimmen. (Verfolgung)

Ich frage gerne, könnte ich es herausfinden?

• Die Entfernung des Telefons zum Steuerobjekt (Nehmen wir zur Diskussion an, dass sich die Kamera in einer bestimmten Höhe befindet und keine bestimmte Entfernung bekannt ist, aber die Kamera senkrecht zur bekannten Oberfläche steht.)

• Das sekundäre Objekt, in dem ich das Objekt in jedem nachfolgenden Frame finden kann. Mein Ziel ist es, die 3D-Flugbahn wie oben angegeben abzuschätzen.

Bonusfrage: Wir können das System so gestalten, dass der Abstand des Telefons zum Steuerobjekt eingestellt werden kann (obwohl dies nicht bevorzugt wird). Würde mir dies beim zweiten Punkt helfen?

Wenn Ihr Objekt 6 bekannte Punkte hat (bekannte 3D-Koordinaten, und Z ), können Sie die Position der Kamera in Bezug auf das Objektkoordinatensystem berechnen.$X, Y$$Z$

Zuerst einige Grundlagen.

Die homogene Koordinate ist die Vektordarstellung der euklidischen Koordinate an die wir den sogenannten Skalierungsfaktor ω angehängt haben, so dass die homogene Koordinate X = ω [ X Y Z 1 ] T ist . Versuchen Sie in Ihren eigenen Berechnungen, ω = 1 so oft wie möglich beizubehalten (was bedeutet, dass Sie die homogene Koordinate "normalisieren", indem Sie sie durch ihr letztes Element teilen: X ← $(X,Y,Z)$$\omega$$\textbf{X} = \omega \begin{bmatrix}X & Y & Z & 1\end{bmatrix}^T$$\omega=1$ ). Wir können auch eine homogene Darstellung für 2D-Punkte verwenden, so dassx=ω[ X Y 1 ](denken Sie daran, dass dieseω,X,YundZfür jeden Punkt unterschiedlich sind, sei es 2D- oder 3D-Punkt). Eine homogene Koordinatendarstellung erleichtert die Mathematik.$\textbf{X} \leftarrow \frac{\textbf{X}}{\omega}$$\textbf{x} = \omega\begin{bmatrix}X & Y & 1\end{bmatrix}$$\omega, X,Y$$Z$

Die Kameramatrix ist eine Projektionsmatrix von der 3D-Welt zum Bildsensor:$3\times4$

$$\textbf{x} = P\textbf{X}$$

Dabei ist der Punkt auf dem Bildsensor (mit Pixeleinheiten) und X der projizierte 3D-Punkt (sagen wir, er hat Millimeter als Einheiten).$\textbf{x}$$\textbf{X}$

Wir erinnern uns, dass das Kreuzprodukt zwischen zwei 3-Vektoren als Matrix-Vektor-Multiplikation definiert werden kann, so dass:

$$\textbf{v} \times \textbf{u} = \\ ( \textbf{v} )_x \textbf{u} = \\ \begin{bmatrix} 0 & -v_3& v_2 \\ v_3 & 0 & -v_1 \\ -v_2 & v_1 & 0 \end{bmatrix} \textbf{u}$$

Es ist auch nützlich zu beachten, dass die Kreuzproduktion .$\textbf{v} \times \textbf{v} = \textbf{0}$

Versuchen wir nun, die Projektionsmatrix aus den vorherigen Gleichungen zu lösen . Multiplizieren wir die Projektionsgleichung von links mit der Kreuzproduktmatrix von x :$P$$\textbf{x}$

$$(\textbf{x})_x\textbf{x} = (\textbf{x})_xP\textbf{X} = \textbf{0}$$

Aha! Das Ergebnis muss ein Vektor von Null sein. Wenn wir jetzt die Gleichung öffnen, erhalten wir:

$$\begin{bmatrix} 0 & -w& y \\ w & 0 & -x \\ -y & x & 0 \end{bmatrix} \begin{bmatrix} P_{1,1} & P_{1,2} & P_{1,3} & P_{1,4} \\ P_{2,1} & P_{2,2} & P_{2,3} & P_{2,4} \\ P_{3,1} & P_{3,2} & P_{3,3} & P_{3,4} \end{bmatrix} \textbf{X} \\ = \begin{bmatrix} P_{3,4} W y - P_{2,1} X w - P_{2,2} Y w - P_{2,4} W w + P_{3,1} X y - P_{2,3} Z w + P_{3,2} Y y + P_{3,3} Z y \\ P_{1,4} W w + P_{1,1} X w - P_{3,4} W x + P_{1,2} Y w - P_{3,1} X x + P_{1,3} Z w - P_{3,2} Y x - P_{3,3} Z x \\ P_{2,4} W x + P_{2,1} X x - P_{1,4} W y - P_{1,1} X y + P_{2,2} Y x - P_{1,2} Y y + P_{2,3} Z x - P_{1,3} Z y \end{bmatrix} = \textbf{0}$$

$P$

$$\tiny \begin{bmatrix} 0 & 0 & 0 & 0 & - X\, w & - Y\, w & - Z\, w & - W\, w & X\, y & Y\, y & Z\, y & W\, y\\ X\, w & Y\, w & Z\, w & W\, w & 0 & 0 & 0 & 0 & - X\, x & - Y\, x & - Z\, x & - W\, x\\ - X\, y & - Y\, y & - Z\, y & - W\, y & X\, x & Y\, x & Z\, x & W\, x & 0 & 0 & 0 & 0 \end{bmatrix} \begin{bmatrix} \textbf{P}_1 \\ \textbf{P}_2 \\ \textbf{P}_3 \\ \end{bmatrix} = \textbf{0}$$

$\textbf{P}_n$$n$$P$

Kleine Pause, damit wir unsere Stärken sammeln können. Beachten Sie, dass die vorherige Matrixgleichung für jede bekannte 3D-> 2D-Entsprechung gebildet werden muss (es müssen mindestens 6 davon vorhanden sein).

$2\times12$$A$

$$A\begin{bmatrix} \textbf{P}_1 \\ \textbf{P}_2 \\ \textbf{P}_3 \\ \end{bmatrix} = \textbf{0}$$

$$\begin{bmatrix} \textbf{P}_1 \\ \textbf{P}_2 \\ \textbf{P}_3 \\ \end{bmatrix} = \textbf{0}$$

Glücklicherweise können wir die Singular Value Decomposition (SVD) verwenden, um zu erzwingen

$$\| \begin{bmatrix} \textbf{P}_1 \\ \textbf{P}_2 \\ \textbf{P}_3 \\ \end{bmatrix} \|=1$$

$A$$P$$\begin{bmatrix} \textbf{P}_1 & \textbf{P}_2 & \textbf{P}_3 \end{bmatrix}^T$$P$

$P$

$$P = K\begin{bmatrix}R & -R\textbf{C}\end{bmatrix}$$

$\textbf{C}$$P$$P$

(Hartley, Zisserman - Geometrie mit mehreren Ansichten in der Bildverarbeitung)

$X$

$$\textbf{x}_1 = P_1 \textbf{X} \\ \textbf{x}_2 = P_2 \textbf{X} \\ $$

$$(\textbf{x}_1)_xP_1\textbf{X} = \textbf{0} \\ (\textbf{x}_2)_xP_2\textbf{X} = \textbf{0} \\ $$

Und so weiter.