Kamerakalibrierung / Lochkameramodell und Ermittlung der 3D-Position

Ich habe eine kalibrierte Kamera und habe die intrinsischen Parameter. Ich habe auch die extrinsischen Parameter relativ zu einem Punkt (dem Weltursprung) auf einer planaren Oberfläche in der realen Welt. Diesen Punkt habe ich als Ursprung in der realen Welt Koordinaten [0,0,0] mit einer Normalen von [0,0,1] gesetzt.

Aus diesen extrinsischen Parametern kann ich hier die Kameraposition und -rotation in den 3D-Koordinaten der Weltebene ermitteln: http://en.wikipedia.org/wiki/Camera_resectioning

Jetzt habe ich einen zweiten Punkt, an dem ich die Bildkoordinaten für [x, y] extrahiert habe. Wie erhalte ich jetzt die 3D-Position dieses Punktes im Weltkoordinatensystem?

Ich denke, die Intuition hier ist, dass ich einen Strahl verfolgen muss, der vom optischen Zentrum der Kamera (für die ich jetzt die 3D-Position wie oben beschrieben habe) durch die Bildebene [x, y] der Kamera und dann geht durch meine reale Ebene, die ich oben definiert habe.

Jetzt kann ich einen Weltkoordinaten-3D-Strahl mit einer Ebene schneiden, wie ich sie normal kenne, und auf diese Ebene zeigen. Was ich nicht verstehe, ist, wie ich die 3D-Position und -Richtung herausfinde, wenn sie die Bildebene durch ein Pixel verlässt. Es ist die Transformation durch verschiedene Koordinatensysteme, die mich verwirrt.

computer-vision 3d camera

— Gepard
quelle

Überprüfen Sie diese Antwort, es kann helfen. Wenn Sie denken, dass etwas abgeschlossen werden kann / könnte, sagen Sie es mir einfach. dsp.stackexchange.com/a/2737/1473

— Jav_Rock

Antworten:

Wenn Sie die extrinsischen haben, dann ist es sehr einfach. Extrinsics zu haben ist dasselbe wie "Kamerapose" zu haben und dasselbe wie Homographie zu haben. Überprüfen Sie diesen Beitrag im Stackoverflow.

Sie haben Extrinsics, auch Kamerapose genannt, die als Übersetzung und Rotation beschrieben werden:

$\displaystyle Pose =\begin{bmatrix}R|t \end{bmatrix} = \begin{bmatrix}R_{11} &R_{12}&R_{13}&t_x\\R_{21}&R_{22}&R_{23}&t_y\\R_{31}&R_{32}&R_{33}&t_z \end{bmatrix}$

Sie können Homografie von Pose folgendermaßen erhalten :

$\displaystyle H = \frac{1}{t_z}\begin{bmatrix}{R_{1x}}&{R_{2x}}&{t_x}\\{R_{1y}}&{R_{2y}}&{t_y}\\{R_{1z}}&{R_{2z}}&{t_z}\end{bmatrix}$

Anschließend können Sie Ihre 2D-Punkte in die entsprechenden 3D-Punkte projizieren, indem Sie die Homografie mit den Punkten multiplizieren:

$p_{2D}=\begin{bmatrix}x &y &1\end{bmatrix}\quad$ add , um sie homogen zu machen $\quad z=1\quad$

$p_{3D}=H*p_{2D}$

$p= p / p(z)\quad$ Normalisieren Sie die Punkte

— Jav_Rock
quelle

Sie können die 3D-Position des zweiten Punkts nicht kennen. Es kann sich um einen beliebigen Punkt auf dem Strahl von der Mitte der Kamera bis ins Unendliche handeln.

Sie können Folgendes tun:

Erstellen Sie einen vordefinierten 3D-Raum, der der realen Szene ähnelt
Wenn Sie mehr Bildpunkte aus einem anderen Winkel erhalten, können Sie mithilfe des Schnittpunkts der Strahlen aus verschiedenen Winkeln eine Annäherung an den 3D-Punkt erhalten.

— Geerten
quelle

Abwarten. Ich kann den 3D-Weltpunkt finden, an dem der 3D-Strahl die planare Oberfläche schneidet, sicher? Da ich eine 3D-Weltkoordinate und eine 3D-Weltnormalen dieser Ebene kenne, ist der 3D-Punkt, den ich zu finden versuche, der Punkt, an dem er diese planare Oberfläche schneidet !! (Entschuldigung, ich glaube, meine Erklärung war nicht gut genug)

— Cheetah

Was meinst du mit ebener Fläche? Die Bildebene oder die Ebene der Nullweltkoordinaten? Im letzteren Fall können Sie den Schnittpunkt berechnen, aber das bedeutet, dass Ihre 3D-Szene nicht 3D ist, sondern 2D :) (weil es eine Ebene ist).

— Geerten

Ja, tut mir leid, das ist mir einfach nicht eingefallen. Ich verstehe, was Sie sagen, es macht für mich visuell einfach keinen Sinn. Also, ja, meine Szene ist tatsächlich "2d", weil ich die Bildebene und die reale Ebene habe, auf der der reale Ursprung [0,0,0] liegt und eine reale Normalen von [0,0, 1], daher hat jeder Punkt, der auf dieser realen Ebene liegt, die Form von [x, y, 0]. Ich weiß, dass ich den Schnittpunkt durch ax + by + cz + d = 0 berechnen kann, aber damit habe ich Probleme. (Fortsetzung im nächsten Kommentar)

— Cheetah

Ich habe einen Strahl, der in meinem Kamerazentrum / Ursprung beginnt, für den ich die reale Welt [x, y, z] habe, und eine reale Welt normal [nx, ny, nz]. Ich muss von diesem Punkt aus einen Strahl abfeuern, der die Bildebene bei [u, v] schneidet und dann die reale Ebene bei [x, y, 0] schneidet (es ist dieses x, y, das ich erhalten möchte). Ich habe Probleme mit dem ersten Bit, dem Schnittpunkt mit der Bildebene. Ich kann nicht sehen, wie ich das mache?

— Cheetah

Vielleicht möchten Sie sich Folgendes ansehen: en.wikipedia.org/wiki/Line-plane_intersection

— Geerten

Sie haben zwei Möglichkeiten: Rückprojektion oder Projektion zwischen zwei Ebenen (Homographie).

Bei der Rückprojektion nehmen Sie eine Pseudo-Inverse Ihrer Kameramatrix und multiplizieren das Ergebnis mit Ihrer homogenen Darstellung des Bildpunkts: $P$

P = K [\begin{matrix} R & - R C \end{matrix}] X_{r e p r o j e c t e d} = P^{+} x

$P = K\begin{bmatrix}R & -R\textbf{C}\end{bmatrix} \\ \textbf{X}_{reprojected} = P^+\textbf{x}$

Jetzt haben Sie eine 3D-Linie, die durch die und den Punkt . Wenn Sie möchten, können Sie dies in eine einfachere Präsentation umwandeln. Zum Beispiel mit einem Punkt- und Richtungsvektor (denken Sie daran, die homogenen Koordinaten so zu normalisieren, dass der Skalierungsfaktor vor den eigentlichen Berechnungen): $\textbf{C}$ $\textbf{X}$ $\textbf{V} = \omega\begin{bmatrix}X & Y & Z & 1\end{bmatrix}^T$ $\omega=1$

u = X_{r e p r o j e c t e d} - C v = \frac{u}{‖ u ‖} L (t) = C + t v

$\textbf{u} = \textbf{X}_{reprojected}-\textbf{C} \\ \textbf{v} = \frac{ \textbf{u} }{\|\textbf{u}\|} \\ \textbf{L}(t) = \textbf{C} + t\textbf{v}$

Wenn Sie die Ebene , können Sie die Gleichung lösen für . $\Pi = \begin{bmatrix}\pi_1 & \pi_2 & \pi_3 & \pi_4\end{bmatrix}^T, \pi_1X + \pi_2Y + \pi_3Z + \pi_4 = 0$ $\textbf{L}(t) = \Pi$ $t$

Wenn Sie sich für die Verwendung der Homografie entscheiden, müssen Sie die Homografiematrix berechnen, die als Projektion zwischen der abgebildeten Ebene und der Ebene des Kamerasensors definiert ist: $3\times3$ $H$

X_{p l a n e} = {[\begin{matrix} X & Y & 0 & 1 \end{matrix}]}^{T} x = P X_{p l a n e} = H {[\begin{matrix} X & Y & 1 \end{matrix}]}^{T}

$\textbf{X}_{plane} = \begin{bmatrix}X & Y & 0 & 1\end{bmatrix}^T \\ \textbf{x} = P\textbf{X}_{plane} = H\begin{bmatrix}X & Y & 1\end{bmatrix}^T$

Wenn Sie nun : $\textbf{x}$

X_{p l a n e} = H^{- 1} x

$\textbf{X}_{plane} = H^{-1}\textbf{x}$

Wenn Sie das während der Kalibrierung der Kamera nicht berechnet haben (wahrscheinlich mit direkter linearer Transformation, DLT), können Sie die folgende Formulierung verwenden: $H$

H = R + \frac{1}{d} T N^{T}

$H = R + \frac{1}{d}\textbf{T}\textbf{N}^T$

Wobei die Entfernung der Kamera von der Ebene und . (Ma, Soatto, Kosecká, Sastry - Eine Einladung zum 3-D-Sehen von Bildern zu geometrischen Modellen, S. 132) $d$ $\textbf{T} = -R\textbf{C}$

— buq2
quelle