Die fünf besten Klassifikatoren, die zuerst ausprobiert werden sollten

Neben offensichtlichen Klassifizierereigenschaften wie

• Rechenaufwand,
• erwartete Datentypen von Features / Labels und
• Eignung für bestimmte Größen und Abmessungen von Datensätzen,

Was sind die fünf besten (oder 10, 20?) Klassifikatoren, um zuerst einen neuen Datensatz auszuprobieren, über den man noch nicht viel weiß (z. B. Semantik und Korrelation einzelner Merkmale)? Normalerweise probiere ich Naive Bayes, Nearest Neighbor, Decision Tree und SVM aus - obwohl ich keinen anderen Grund für diese Auswahl habe, als sie zu kennen und meistens zu verstehen, wie sie funktionieren.

Ich denke, man sollte Klassifikatoren wählen, die die wichtigsten allgemeinen Klassifikationsansätze abdecken . Welche Auswahl würden Sie nach diesem Kriterium oder aus einem anderen Grund empfehlen?

UPDATE: Eine alternative Formulierung für diese Frage könnte lauten: "Welche allgemeinen Ansätze zur Klassifizierung gibt es und welche spezifischen Methoden decken die wichtigsten / beliebtesten / vielversprechendsten ab?"

Zufälliger Wald

Schnelle, robuste, gute Genauigkeit, in den meisten Fällen nichts zu tunen, erfordert keine Normalisierung, ist immun gegen Kollinearität, erzeugt eine recht gute Fehlerannäherung und ein nützliches Wichtigkeitsranking als Nebeneffekt des Trainings, trivial parallel, prognostiziert im Handumdrehen.

Nachteile: langsamer als triviale Methoden wie kNN oder NB, funktioniert am besten bei gleichen Klassen, ist ungenauer als SVM für Probleme, die dringend einen Kernel-Trick erfordern, ist eine harte Blackbox, macht keinen Kaffee.

Gaußscher Prozessklassifikator (ohne Verwendung der Laplace-Näherung), vorzugsweise mit Marginalisierung statt Optimierung der Hyperparameter. Warum?

1. weil sie eine probabilistische Einteilung geben
2. Sie können eine Kernelfunktion verwenden, mit der Sie nicht-vektorielle Daten direkt bearbeiten und / oder Expertenwissen einbinden können
3. Sie beschäftigen sich mit der Unsicherheit, das Modell richtig anzupassen, und Sie können diese Unsicherheit auf den Entscheidungsprozess übertragen
4. im Allgemeinen sehr gute Vorhersageleistung.

Nachteile

1. schleppend
2. benötigt viel Speicher
3. unpraktisch für große Probleme.

Die erste Wahl wäre jedoch eine regulierte logistische Regression oder eine Ridge-Regression [ohne Feature-Auswahl] - bei den meisten Problemen funktionieren sehr einfache Algorithmen recht gut und sind schwieriger zu verwechseln (in der Praxis sind die Leistungsunterschiede zwischen den Algorithmen geringer als die Leistungsunterschiede) zwischen dem Fahrer, der sie fährt).

Wenn Sie sich einem neuen Datensatz nähern, sollten Sie alleine anfangen, das ganze Problem zu beobachten. Zunächst erhalten Sie eine Verteilung für kategoriale Merkmale sowie Mittel- und Standardabweichungen für jedes kontinuierliche Merkmal. Dann:

• Features mit mehr als X% fehlenden Werten löschen;
• Löschen Sie kategoriale Merkmale, wenn ein bestimmter Wert mehr als 90-95% der relativen Häufigkeit erreicht.
• Löschen Sie fortlaufende Merkmale mit CV = std / mean <0.1;
• Holen Sie sich ein Parameter-Ranking, zB ANOVA für stetig und Chi-Quadrat für kategorial;
• Holen Sie sich eine signifikante Teilmenge von Funktionen;

Dann teile ich die Klassifikationstechniken normalerweise in 2 Sätze auf: White-Box- und Black-Box-Technik. Wenn Sie wissen möchten, wie der Klassifikator funktioniert, sollten Sie im ersten Satz auswählen, z. B. Entscheidungsbäume oder regelbasierte Klassifikatoren.

Wenn Sie neue Datensätze klassifizieren müssen, ohne ein Modell zu erstellen, sollten Sie einen Blick auf eifrige Lernende werfen, z. B. KNN.

Danach halte ich es für besser, eine Schwelle zwischen Genauigkeit und Geschwindigkeit zu haben: Neuronale Netze sind etwas langsamer als SVM.

Dies ist meine Top-5-Klassifikationstechnik:

1. Entscheidungsbaum;
2. Regelbasierte Klassifikatoren;
3. SMO (SVM);
4. Naive Bayes;
5. Neuronale Netze.