Gibt es Computer-Vision-Algorithmen, die speziell auf Tiefenbilder abzielen?


9

Ich habe mich mit Algorithmen zur Markererkennung befasst, die mit einer Kinect-basierten Anwendung verwendet werden können, und der Großteil der Arbeit, die ich finden konnte, konzentriert sich offensichtlich auf die Erkennung von Merkmalen in "normalen" Bildern.

Die Kinect-Hardware bietet jedoch (im Wesentlichen nach dem Anpassen) einen 11-Bit-Tiefenwert pro Pixel.

Dieses Tiefenbild enthält auch verschiedene visuelle Artefakte aus den Schatten, die um die Kanten von Objekten geworfen werden (siehe zum Beispiel den starken schwarzen Rand in diesem Video http://www.youtube.com/watch?v=-q8rRk8Iqww&feature=related ).

Während einige traditionelle Bildverarbeitungstechniken (z. B. Kantenerkennung) damit gut funktionieren, funktionieren andere nicht, und es scheint, dass es im Internet nur wenige Informationen gibt, die dies diskutieren.

Die Verwendung des Tiefenwerts macht es beispielsweise einfach, die Ausrichtung eines Markierungsblocks zu ermitteln, sobald Sie ihn gefunden haben.

Hat jemand Diskussionen / Papiere / etc. gesehen, die die Verarbeitung eines Tiefenbildes zur Merkmalserkennung abdecken?

Kann jemand einen guten Algorithmus zum Erkennen von "Tiefen" -Markierungen empfehlen (effektiv Origami-Blöcke anstelle von gedruckten s / w-Markierungen)?

Was ich bisher gemacht habe, waren Ad-hoc-Experimente mit opencv, um die Bilder zu verarbeiten, aber das ist bei weitem nicht stabil oder schnell genug.

Wenn Sie ohne Testversion eine Verknüpfung zu einem kommerziellen Bildverarbeitungsprodukt herstellen, geben Sie in Ihrer Antwort an, warum Sie dies für angemessen halten.


Dafür gibt es jede Menge Papiere und Programme. Leider kann ich bei geringer Bandbreite nicht detaillierter antworten. Siehe RGBDemo-App, sie enthält eine Objekterkennung. Außerdem PointCloud Library (PCL), ROS, OpenCV für Software und vermutlich Google Scholar für Artikel. Sie erwähnen, dass OpenCV für Sie nicht zufriedenstellend ist, PCL und RGBDemo jedoch möglicherweise.

Ich suche nicht nach einer Implementierung einer Demo, die den Kinect zeigt, oder nach PC-Demos, die zeigen, wie ein 3D-Modell aus einem Kinect oder einem Bildverarbeitungs-Toolkit (dh opencv) generiert wird. Ich suche nach Algorithmen zur Merkmalserkennung basierend auf Tiefenbildern.

RGBDemo implementiert diese Algorithmen. Lesen Sie den Code oder die Referenzen für den Code.

Antworten:


8

Mein bevorzugter 2.5D / 3D-Feature-Deskriptor für die Registrierung und Erkennung ist das Spin-Image (Originalarbeit + weitere Details in der Doktorarbeit und Software, die von der CMU erhältlich sind).

Weitere aktuelle Fortschritte (alle online nach geeigneten Algorithmen durchsuchbar) sind: 3D-Sift, Fast Point Feature Histogramm, normal ausgerichtete radiale Merkmale (NARF), Tiefenkerndeskriptoren. Ältere Methoden verwendeten einfach Oberflächeneigenschaften wie Krümmung und Kanten, um Bereichsflecken zu identifizieren.

Welches das Beste ist? Hängt davon ab, was Sie finden möchten, Ansichtspunktinvarianz, zusätzliche Unordnung usw.


7

Sie haben alle Schlüsselwörter richtig verstanden. Ich bin überrascht, dass Sie bei der Suche nach Material wirklich keine verwandten Artikel gefunden haben.

Glücklicherweise habe ich Zugriff auf die digitale Bibliothek IEEE Xplore. Ich brauche vorher keinen dieser speziellen Algorithmen, aber es sieht sehr interessant aus. Hier sind einige Ergebnisse einer Schnellsuche, die ich für relevant halte (beurteilen Sie sie nicht nach ihren Titeln, sehen Sie sich ihre Abstracts an):

Leider glaube ich nicht, dass Sie kostenlos auf eines dieser Dokumente zugreifen können, zumindest nicht über die IEEE Xplore-Bibliothek. Wenn Sie keinen Zugriff haben, können Sie wahrscheinlich mit Google Scholar auskommen , und es gibt einige kostenlose Papierdatenbanken (ich habe die Mendeley-Datenbank verwendet, als ich noch keinen IEEE-Zugriff hatte). Wenn Sie nur Teile des Abstracts oder zufällige Teile des Papiers googeln, erhalten Sie manchmal Ergebnisse (Sie könnten auf eine fast fertige vorveröffentlichte Version des Artikels stoßen).

Die Suchanfrage ich verwenden , um die genannten Papiere zu finden waren: 3D - Bild , Tiefenbild , kinect . Möglicherweise möchten Sie auch die Verarbeitung einleiten, wenn Sie die ersten beiden Abfragen nachschlagen.

Hoffe das hilft einigen! Es tut mir leid, dass ich nicht mehr auf das Thema eingehen kann, das klingt wirklich interessant.



@mankoff nur aus der Zusammenfassung, ich sehe nur die Arbeit, die sich auf das Tracking konzentriert, und es scheint, dass sie sich auf die Verwendung der direkten Informationen mit wenig Feature-Erkennung konzentriert. Aber dann habe ich nur die Zusammenfassung gelesen, also nicht sicher.

Das Googeln der Papiertitel reicht aus, um PDFs für einige dieser Papiere zu finden. Eine weitere gute Quelle ist CiteSeer: citeseerx.ist.psu.edu/index Vielen Dank für die Liste der Artikel !
Rethunk
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.