Berechnung einer Homographie basierend auf erkannten Linien

Ich weiß, dass Sie Homographien von Bild zu Kameraebene mithilfe von Korrespondenzpunkten zwischen einem "perfekten Modell" und den Bildpunkten berechnen können.

Ich mache das für ein Fußballfeld und habe die Kantenerkennung verwendet, um die weißen Linien auf dem Spielfeld zu finden.

Die Kamera deckt jedoch nicht (immer) die gesamte Tonhöhe ab, sodass ich nicht alle Ecken sehen kann ... und nur die Ecken sind zu 100% bekannte Punkte im Modell (keine anderen hervorgehobenen Punkte).

Das Problem ist also, dass ich nur die Bildpunkte der Linie kenne, es sei denn, die Linie schneidet sich mit einer anderen Linie und bildet eine Ecke. Es handelt sich nicht um die entsprechenden "Perfekt / Real-Welt" -Koordinaten im Modell.

Gibt es eine Möglichkeit, mit den erkannten Linien eine Homographie oder auch nur eine Reihe von Kandidatenhomographien zu berechnen , selbst wenn sich die erkannten Linien nicht schneiden und eine Ecke bilden?

Beispielbild, das die Tonhöhe, unser Sichtfeld und die Punkte der Tonhöhe zeigt, an denen ich die entsprechenden Koordinaten der realen Welt / des Modells (grüne Kreise) erkennen kann, sowie ein Beispiel von zwei Linien, die seitdem in unserem Sichtfeld möglicherweise völlig unbrauchbar sind Ich habe keine Ahnung, an welchem ​​Punkt sie in der jeweiligen realen Welt / dem Modell des Spielfelds genau beginnen oder enden:

Die roten Linien sind Beispiele für Linien, die ich verwenden möchte, aber ich kenne ihre realen Koordinaten nicht und es ist schwierig, sie abzuschätzen, da die entsprechenden Punkte je nach Kameraposition "überall" sein können.

Ich werde dazu zwei Ansätze erläutern:

1) Ein Ansatz würde einen Zeilenanpassungsalgorithmus erfordern. Nachdem Sie die Linien abgeglichen haben, können Sie einfach die Endpunkte der Linien verwenden, um die Homographie zu berechnen. Um dies zu erreichen, wurden kürzlich in OpenCV EDLine- oder LSD-basierte Deskriptoren vorgeschlagen. Auch Hashing und schnelles Matching sind implementiert. Schauen Sie sich die Videos hier an:

http://www.youtube.com/watch?v=MqMjvSkM39k

http://www.youtube.com/watch?v=naSWTlbg3To

Das aktuelle opencv_contrib-Repository enthält den Quellcode für diese Methoden.

In dem Fall, dass die Linienendpunkte verrauscht sind, können Sie die Linien direkt verwenden, um die Homographien zu berechnen. Solche Papiere würden dann lesen:

Interner Bericht: 2005-V04 Berechnen von Homografien aus drei Linien oder Punkten in einem Bildpaar G. Lopez-Nicolas, JJ Guerrero, OA Pellejero, C. Sagues

Interner Bericht: 2003-V01 Robuster Linienabgleich und gleichzeitige Schätzung von Homographien G. Lopez-Nicolas

Probabilistisches Matching von Linien für ihre Homographie Taemin Kim, Jihwan Woo und In So Kweon

2) Es gibt eine Methode, die für die hier angegebenen Felder spezifisch ist:

" Verwenden von Linien- und Ellipsenfunktionen zur Berichtigung von Broadcast-Hockey-Videos .", Gupta, Ankur, James J. Little und Robert J. Woodham, Computer- und Robotervision (CRV), Kanadische Konferenz 2011, Kanada. IEEE, 2011.

und

" Kombinieren von Linien- und Punktkorrespondenzen für die Homografieschätzung ", Dubrofsky, Elan und Robert J. Woodham . Internationales Symposium für Visual Computing. Springer Berlin Heidelberg, 2008.

$\mathbf{l}_i=(u,v,1)^T$$\mathbf{l}_i^{'}=(x,y,1)^T$

In dieser Form kann die Gleichung direkt in die DLT-Methode eingefügt werden:

Der einzige Unterschied ist die Normalisierung, die Sie in den obigen Referenzen finden.

$x$$C$$x^TCx=0$

Die obigen Referenzen erläutern auch, wie diese Einschränkung in den DLT-Algorithmus eingefügt wird.

Aus Ellipsen und Linien lässt sich eine robuste projektive Beziehung ableiten.

Wenn die Linien nicht parallel sind, können Sie den Schnittpunkt berechnen und als Referenzpunkt verwenden. In Ihrem Bild können Sie auch die violetten Punkte verwenden:

Übrigens muss der Schnittpunkt der Linien nicht im Bild sein. Solange die Linien parallel sind

Wenn die Linien parallel sind, können Sie sie verwenden, um zusätzliche Einschränkungen zu erhalten. Wenn Sie beispielsweise N <4 Punkte und K Linien haben, können Sie möglicherweise die Transformation abschätzen

Denken Sie daran, dass die Gleichung der projektiven Transformation lautet:

$x' = \frac{\left ( a_{11}x+a_{12}y+a_{13} \right ) } {\left ( a_{31}x+a_{32}y+1 \right )} \\ y' = \frac{\left ( a_{21}x+a_{22}y+a_{23} \right ) } {\left ( a_{31}x+a_{32}y+1 \right )}$

$a_{11},a_{12},a_{13},a_{21},a_{22},a_{23},a_{31},a_{32} \\$

$ax+by+c=0$$Ax'+By'+C$

$Ax'+By'+C = 0 \implies \\ A(a_{21}x+a_{22}y+a_{23}) + B(a_{21}x+a_{22}y+a_{23}) + C( a_{31}x+a_{32}y+1) = 0$

Es kann umgeschrieben werden als:

$\left( \begin{array}{ccc} Ax & Ay & A & Bx & By & B & Cx & Cy \\ \end{array} \right) \left( \begin{array}{ccc} a_{11} \\ a_{12} \\ a_{13} \\ a_{21} \\ a_{22} \\ a_{23} \\ a_{31} \\ a_{32} \\ \end{array} \right) = -C$

$A,B,C$$(x,y)$$ax+by+c = 0$

Zusätzliche Referenzen " Homographieschätzung von Elan Dubrovsky " - Siehe Teil 2.3.1, Schätzung der Homographie aus Linien.