Modernster Ensemble-Lernalgorithmus für Mustererkennungsaufgaben?

Die Struktur dieser Frage ist wie folgt: Zuerst stelle ich das Konzept des Ensemble-Lernens vor , dann erstelle ich eine Liste der Mustererkennungsaufgaben , dann gebe ich Beispiele für Ensemble-Lernalgorithmen und stelle schließlich meine Frage vor. Diejenigen, die nicht alle ergänzenden Informationen benötigen, sehen sich möglicherweise nur die Überschriften an und gehen direkt zu meiner Frage.

Was ist Ensemble-Lernen?

Laut Wikipedia- Artikel :

In der Statistik und beim maschinellen Lernen verwenden Ensemble-Methoden mehrere Lernalgorithmen, um eine bessere Vorhersageleistung zu erzielen, als dies mit einem der konstituierenden Lernalgorithmen allein möglich wäre. Im Gegensatz zu einem statistischen Ensemble in der statistischen Mechanik, das normalerweise unendlich ist, bezieht sich ein Ensemble des maschinellen Lernens nur auf eine konkrete endliche Menge von alternativen Modellen, lässt jedoch typischerweise eine viel flexiblere Struktur unter diesen Alternativen zu.

Beispiele für Mustererkennungsaufgaben:

• Optische Zeichenerkennung
• Barcode-Erkennung
• Kennzeichenerkennung
• Gesichtserkennung
• Spracherkennung
• Bilderkennung
• Dokumentklassifizierung

Beispiele für Ensemble-Lernalgorithmen:

Folgende Ensemble-Lernalgorithmen werden für PR-Aufgaben verwendet (laut Wiki):

Ensemble-Lernalgorithmen (überwachte Metaalgorithmen zum Kombinieren mehrerer Lernalgorithmen):

• Boosting (einMeta-Algorithmusfürmaschinelles Lernen, der inerster Linie dieVerzerrungund die Varianz desüberwachten Lernensreduziert, sowie eine Reihe von Algorithmen für maschinelles Lernen, die schwache Lernende in starke umwandeln)

• Bootstrap Aggregating (" bagging ") (ein Meta-Algorithmus für maschinelles Lernen, der die Stabilität und Genauigkeit von Algorithmen für maschinelles Lernen verbessert, die bei derstatistischen KlassifizierungundRegression verwendet werden).

• Ensemble-Mittelwertbildung (der Prozess des Erstellens mehrerer Modelle und des Kombinierens dieser Modelle, um eine gewünschte Ausgabe zu erzielen, anstatt nur ein Modell zu erstellen. Häufig ist die Leistung eines Ensembles von Modellen besser als bei jedem einzelnen Modell, da die verschiedenen Fehler der Modelle "herausgemittelt" werden. )

• Expertenmix, hierarchischer Expertenmix
  

Verschiedene Implementierungen

• Ensembles von neuronalen Netzen (eine Reihe von neuronalen Netzmodellen, die eine Entscheidung treffen, indem sie die Ergebnisse einzelner Modelle mitteln).
• Random Forest (eine Ensemble-Lernmethode für Klassifikation, Regression und andere Aufgaben,bei der zum Trainingszeitpunkteine Vielzahl vonEntscheidungsbäumen erstelltund die Klasse ausgegeben wird, die derModusder Klassen (Klassifikation) oder die mittlere Vorhersage (Regression) des Individuums ist Bäume).
• AdaBoost (die Ausgabe der anderen Lernalgorithmen ("schwache Lernende") wird zu einer gewichteten Summe kombiniert, die die endgültige Ausgabe des verstärkten Klassifikators darstellt).

Zusätzlich:

• Methoden, die ein neuronales Netz verwenden, um verschiedene Klassifikatoren zu kombinieren
• Kompetenzbereichsmethode

Meine Frage

Welcher der Ensemble-Lernalgorithmen ist heutzutage Stand der Technik und wird von Unternehmen und Organisationen in der Praxis (zur Gesichtserkennung, zur Erkennung von Kfz-Kennzeichen, zur optischen Zeichenerkennung usw.) eingesetzt? Die Verwendung von Ensemble-Lernalgorithmen soll die Erkennungsgenauigkeit erhöhen und zu einer besseren Recheneffizienz führen. Aber stehen die Dinge in der Realität so?

Welche Ensemblemethode kann möglicherweise eine bessere Klassifizierungsgenauigkeit und Leistung bei den Mustererkennungsaufgaben aufweisen? Möglicherweise sind einige der Methoden inzwischen veraltet oder haben sich als unwirksam erwiesen. Es ist auch möglich, dass Ensemble-Methoden aufgrund einiger neuer Algorithmen nicht mehr verwendet werden. Wenn Sie Erfahrung auf diesem Gebiet haben oder über ausreichende Kenntnisse auf diesem Gebiet verfügen, können Sie zur Klärung der Angelegenheit beitragen?

Die neuesten Algorithmen können von den in der Industrie in der Produktion verwendeten abweichen. Letztere können auch in die Feinabstimmung grundlegenderer (und häufig besser interpretierbarer) Ansätze investieren, damit sie besser funktionieren als Akademiker.

Beispiel 1: Laut TechCrunch wird Nuance ab September dieses Jahres "Deep Learning Tech" in seinen Spracherkennungsprodukten von Dragon einsetzen.

Beispiel 2: Chiticariu, Laura, Yunyao Li und Frederick R. Reiss. "Regelbasierte Informationsextraktion ist tot! Es lebe ein regelbasiertes Informationsextraktionssystem!" In EMNLP Nr. October, S. 827-832. 2013. https://scholar.google.com/scholar?cluster=12856773132046965379&hl=de&as_sdt=0,22 ; http://www.aclweb.org/website/old_anthology/D/D13/D13-1079.pdf

Mit dem Gesagten:

Welcher der Ensemble-Lernalgorithmen gilt heutzutage als Stand der Technik?

Eines der modernsten Systeme für die Bildklassifizierung erzielt mit ensemble (genau wie die meisten anderen Systeme, die ich kenne) einen netten Gewinn: He, Kaiming, Xiangyu Zhang, Shaoqing Ren und Jian Sun. "Tiefes Restlernen für die Bilderkennung." arXiv-Vorabdruck arXiv: 1512.03385 (2015). https://scholar.google.com/scholar?cluster=17704431389020559554&hl=de&as_sdt=0,22 ; https://arxiv.org/pdf/1512.03385v1.pdf

Ich denke, man könnte sagen, dass Deep Learning in den meisten Bereichen der Bildverarbeitung (Klassifizierung, Erkennung, Superauflösung, Kantenerkennung, ...) auf dem neuesten Stand der Technik ist, mit Ausnahme von sehr spezifischen Aufgaben wie SLAM Deep Learning ist noch nicht mit den bestehenden Methoden vergleichbar.

Oft wird der Durchschnitt verwendet, um ein paar zusätzliche Prozent für den Gewinn von Wettbewerbsnetzwerken zu erhalten, aber die Netzwerke werden so gut, dass es nicht mehr so ​​wichtig ist.

In der Produktion ist es völlig anders. Große Unternehmen verlassen sich in der Regel auf alte Algorithmen, die sich als wirksam erwiesen haben und die Experten vor Ort kennen und jahrelang mit ihnen vertraut sind.
Die Integration eines neuen Algorithmus in die Lieferkette erfordert viel Zeit. Ich glaube, einige Kamerahersteller verwenden immer noch den Viola Jones-Detektor zur Gesichtserkennung, und ich weiß, dass SIFT in vielen industriellen Anwendungen häufig eingesetzt wird.

Sie sind auch immer noch ein bisschen skeptisch gegenüber Deep-Learning-Methoden, die als gefährliche Black Boxes gelten.
Aber die beeindruckenden Ergebnisse dieser Algorithmen lassen die Leute nur langsam darüber nachdenken.

Start-ups sind eher bereit, solche Lösungen zu nutzen, da sie innovative Lösungen benötigen, um finanziert zu werden.

Ich würde sagen, dass in zwanzig Jahren die meisten Computer Vision-basierten Produkte Deep Learning verwenden werden, auch wenn dazwischen etwas Effektiveres entdeckt wird.
Hinzufügen zu Franck Antwort tief Lernen verändert sich so schnell , dass ResNets von Kaiming Er ist nicht Stand der Technik nicht mehr dicht verbunden Faltungs Networks und breit und tief Netzwerke mit SGD Neustarten sind jetzt SOTA auf EDIT CIFAR und SVHN und wahrscheinlich IMAGEnet zu und auch diese könnte sich in wenigen Tagen mit den ILSVRC 2016-Ergebnissen am 16. September ändern.

Wenn Sie an moderneren Ergebnissen zu MS-COCO interessiert sind, wird der derzeit herausforderndste vorhandene Erkennungsdatensatz im Oktober auf der ECCV veröffentlicht.

Es gibt eine Menge Was-wäre-wenn-Fragen, und normalerweise müssen die meisten dieser Fragen an den Daten getestet werden, um das beste Modell zu finden. Nur weil ein Modell theoretisch genauere Ergebnisse liefern könnte, heißt das nicht, dass es immer ein Modell mit dem geringsten Fehler liefert.

Davon abgesehen ... Neural Net-Ensembles können sehr genau sein, solange Sie die Black Box akzeptieren können. Das Variieren sowohl der Anzahl der Knoten als auch der Anzahl der Ebenen kann eine große Varianz der Daten abdecken. Durch die Einführung dieser vielen Modellierungsfaktoren kann es leicht sein, die Daten zu überschreiben.

Zufällige Wälder haben selten die genauesten Ergebnisse erbracht, aber verstärkte Bäume können komplexe Beziehungen wie in den von Ihnen besprochenen KI-Aufgaben modellieren, ohne dass das Risiko einer Überanpassung besteht.

Man könnte sich denken, warum nicht einfach alle diese Modelle zusammenfügen, sondern dieses Modell die möglichen Stärken der einzelnen Modelle aufs Spiel setzt. Auch dies würde wahrscheinlich zu Problemen mit der Überanpassung führen.

Modelle, die recheneffizient sind, sind eine andere Sache, und ich würde nicht mit einem sehr komplizierten neuronalen Netz beginnen. Meiner Erfahrung nach war es am effizientesten, ein neuronales Netz als Benchmark für verstärkte Bäume zu verwenden.

Dies basiert auf meinen Erfahrungen und einem vernünftigen Verständnis der Theorie, die jedem der diskutierten Modelltypen zugrunde liegt.