Messungen der Klassentrennbarkeit bei Klassifizierungsproblemen

11

Ein Beispiel für ein gutes Maß für die Klassentrennbarkeit bei Lernenden mit linearer Diskriminanz ist das lineare Diskriminanzverhältnis von Fisher. Gibt es andere nützliche Metriken, um festzustellen, ob Feature-Sets eine gute Klassentrennung zwischen Zielvariablen bieten? Insbesondere bin ich daran interessiert, gute multivariate Eingabeattribute zur Maximierung der Zielklassentrennung zu finden, und es wäre schön, ein nichtlineares / nicht parametrisches Maß zu haben, um schnell festzustellen, ob sie eine gute Trennbarkeit bieten.

— klopfen
quelle

Ich habe über Karhunen gelesen. Die Loeve-Erweiterung ermöglicht die Verwendung von Klasseninformationen zur Merkmalsextraktion. Darüber hinaus gibt es Erweiterungen für PCA wie die Verwendung des gewichteten Durchschnitts von Klassenkovarianzmatrizen anstelle einer globalen Matrix. Neben diesen Informationen interessieren mich auch mögliche Antworten auf Ihre Frage.

— Zoran

1

Variable Importance Measures (VIMs) aus zufälligen Wäldern sind möglicherweise das, wonach Sie suchen. Ein kurzer Überblick über zwei davon wird in einem Artikel über die Zufallswaldmethodik und die praktische Anleitung mit Schwerpunkt auf Computational Biology und Bioinformatics von Boulesteix et al.

Die Idee für das Gini VIM ist, dass Sie einige Statistiken darüber erhalten, wie oft eine zufällige Gesamtstruktur ein bestimmtes Attribut als Aufteilungskriterium verwendet hat. Hier werden häufiger informative Funktionen ausgewählt.

Das Permutations-VIM basiert auf der Idee, dass die Fehlerschätzungen des RF-Klassifikators zwischen verglichen werden

den Originaldatensatz und
Ein künstlicher Datensatz, in dem Werte für EIN Attribut permutiert wurden.

Die resultierende Fehlerschätzungsdifferenz ist für wichtige Merkmale groß.

Soweit ich mich erinnere, können VIMs auch verwendet werden, um Abhängigkeiten zwischen Features zu erkennen.

— Damian
quelle

0

Das Finden eines optimalen Funktionsumfangs kann sehr rechenintensiv sein. Die Hauptkategorien der verfügbaren Lösungen können in zwei Gruppen eingeteilt werden: entweder an einen bestimmten Klassifikator binden (Wrapper) oder einfache Rangfolge von Features basierend auf einem bestimmten Kriterium (Filtermethoden).

Basierend auf Ihren Anforderungen (schnell / nicht parametrisch / nicht linear) benötigen Sie wahrscheinlich Kandidaten aus den Filtermethoden. Es gibt einige Beispiele für die in der Literatur beschriebenen . Zum Beispiel Informationsgewinn - der den Wert eines Attributs bewertet, indem der Informationsgewinn in Bezug auf die Klasse gemessen wird; oder Korrelation, die den Wert eines Attributs basierend auf der Korrelation zwischen dem Attribut und der Klasse bewertet.

Die Wrapper-Methoden sind an einen Klassifizierer gebunden und führen möglicherweise zu einem besseren Satz von Funktionen für den interessierenden Klassifizierer. Aufgrund ihrer Art (vollständiges Training / Testen in jeder Iteration) können sie nicht als schnell oder nicht parametrisch angesehen werden, sie können jedoch nichtlineare Beziehungen von Merkmalen behandeln (Ihre dritte Anforderung). Ein Beispiel wäre die rekursive Feature-Eliminierung, die auf SVMs basiert und somit auf die Maximierung des Spielraums zwischen den Klassen abzielt und nichtlineare Beziehungen von Features (unter Verwendung eines nichtlinearen Kernels) behandeln kann.

— iliasfl
quelle