Ich weiß nicht, welchen Algorithmus Google verwendet. Aber lassen Sie mich einige Ideen geben, wie ein ähnliches System aufgebaut werden könnte , da Sie eine bestmögliche Vermutung haben wollten .
Das gesamte Feld, das sich mit der Suche nach Bildern auf Basis von Bildern befasst, wird als Content Based Image Retrieval (CBIR) bezeichnet . Die Idee ist, irgendwie eine (für Menschen nicht unbedingt verständliche) Bilddarstellung zu konstruieren, die die Informationen über den Bildinhalt enthält .
Es gibt zwei grundlegende Ansätze:
- Abrufen unter Verwendung von (lokalen) Merkmalen auf niedriger Ebene: Farbe, Textur, Form an bestimmten Teilen von Bildern (ein Bild ist eine Sammlung von Deskriptoren lokaler Merkmale)
- semantische Ansätze, bei denen ein Bild in gewisser Weise als Sammlung von Objekten und ihren Beziehungen dargestellt wird
Der lokale Ansatz auf niedriger Ebene ist sehr gut erforscht. Der derzeit beste Ansatz extrahiert lokale Merkmale (es gibt eine Auswahl an Algorithmen zur Merkmalsextraktion) und verwendet ihre lokalen Deskriptoren (wiederum eine Auswahl an Deskriptoren), um die Bilder zu vergleichen.
In neueren Werken werden die lokalen Deskriptoren zuerst in Clustern zusammengefasst und dann als visuelle Wörter behandelt - die Technik ist dann der Google-Dokumentsuche sehr ähnlich, verwendet jedoch visuelle Wörter anstelle von Buchstabenwörtern.
Sie können sich visuelle Wörter als Äquivalente zu Wortwurzeln in der Sprache vorstellen: Zum Beispiel gehören die Wörter: arbeiten, arbeiten, gearbeitet alle zur selben Wortwurzel.
Einer der Nachteile dieser Arten von Verfahren ist, dass sie bei Bildern mit geringer Textur normalerweise nicht ausreichend funktionieren.
Ich habe bereits viele Antworten gegeben und gesehen, in denen diese Ansätze detailliert beschrieben sind, daher werde ich nur Links zu diesen Antworten bereitstellen:
- CBIR: 1 , 2
- Merkmalsextraktion / Beschreibung: 1 , 2 , 3 , 4
Semantische Ansätze basieren typischerweise auf hierarchischen Darstellungen des gesamten Bildes. Diese Ansätze wurden insbesondere für die allgemeinen Bildtypen noch nicht perfektioniert. Es ist ein gewisser Erfolg, diese Art von Techniken auf bestimmte Bilddomänen anzuwenden.
Da ich mich gerade in der Erforschung dieser Ansätze befinde, kann ich keine Schlussfolgerungen ziehen. Nun, das heißt, ich erklärte eine allgemeine Idee hinter diesen Techniken in dieser Antwort .
Noch einmal kurz: Die allgemeine Idee ist es, ein Bild mit einer baumförmigen Struktur darzustellen, wobei Blätter die Bilddetails enthalten und Objekte in den Knoten näher an der Wurzel solcher Bäume zu finden sind. Dann vergleichen Sie irgendwie die Teilbäume, um die in verschiedenen Bildern enthaltenen Objekte zu identifizieren.
Hier finden Sie einige Referenzen für verschiedene Baumdarstellungen. Ich habe nicht alle von ihnen gelesen, und einige von ihnen verwenden diese Art von Darstellungen zur Segmentierung anstelle von CBIR, aber dennoch sind sie hier:
- Binäre Partitionsbäume und Erwähnung von Min / Max-Bäumen: P. Salembier, MHF Wilkinson: Connected Operators
- Binärpartitionsbäume : V. Vilaplana, F. Marques, P. Selembier: Binärpartitionsbäume zur Objekterkennung
- Formenbaum (Teilbaum): P. Monasse, F. Guichard: Schnelle Berechnung der kontrastinvarianten Bilddarstellung , C. Ballester, V. Castellis, P. Monasse: Der Formenbaum eines Bildes
- monotone Bäume: Y. Song, A. Zhang: Analyse von Landschaftsbildern mit monotonen Bäumen
- Bearbeiten: Mit weiteren Graben zeigt , dass Baum von Formen und monotone Baum sind äquivalent , mit der Ausnahme der Verarbeitung des Bildes in 4- / 8- (Baum von Formen) oder 6-Konnektivität (monotone)
- Extrema-Wasserscheide-Baum: A. Vichik, R. Keshet, D. Malah: Self-Dual-Morphologie auf Baum-Halbgittern und Anwendungen
- eingeschränkte Konnektivität, Alpha-Bäume, ultrametrische Wasserflächen: P. Soille, L. Najman: Über morphologische hierarchische Darstellungen für die Bildverarbeitung und räumliche Datenbündelung