Lineare Diskriminanzanalyse und nicht normalverteilte Daten

Wenn ich das richtig verstehe, setzt eine lineare Diskriminanzanalyse (LDA) normalverteilte Daten, unabhängige Merkmale und identische Kovarianzen für jede Klasse für das Optimalitätskriterium voraus.

Ist es nicht schon eine Verletzung, da der Mittelwert und die Varianz aus den Trainingsdaten geschätzt werden?

Ich fand ein Zitat in einem Artikel (Li, Tao, Shenghuo Zhu und Mitsunori Ogihara „ Mit Diskriminanzanalyse für Multi-Klasse Klassifizierung: Eine experimentelle Untersuchung .“. Wissen und Information 10 Systems, no 4 (2006): 453-72 .)

"Die lineare Diskriminanzanalyse erzielt häufig gute Leistungen bei den Aufgaben der Gesichts- und Objekterkennung, obwohl die Annahmen einer gemeinsamen Kovarianzmatrix zwischen Gruppen und Normalität häufig verletzt werden (Duda, et al., 2001)."

- Leider konnte ich den entsprechenden Abschnitt in Duda et. al. "Musterklassifikation".

Irgendwelche Erfahrungen oder Gedanken zur Verwendung von LDA (im Vergleich zu regulärem LDA oder QDA) für nicht normale Daten im Zusammenhang mit der Reduzierung der Dimensionalität?

Hier ist, was Hastie et al. Ich muss dazu (im Kontext der Zwei-Klassen-LDA) in Die Elemente des statistischen Lernens, Abschnitt 4.3, sagen:

Da diese Ableitung der LDA-Richtung über kleinste Quadrate keine Gaußsche Annahme für die Merkmale verwendet, geht ihre Anwendbarkeit über den Bereich der Gaußschen Daten hinaus. Die Ableitung des in (4.11) angegebenen bestimmten Abschnitts oder Schnittpunkts erfordert jedoch Gaußsche Daten. Daher ist es sinnvoll, stattdessen den Schnittpunkt zu wählen, der den Trainingsfehler für einen bestimmten Datensatz empirisch minimiert. Wir haben festgestellt, dass dies in der Praxis gut funktioniert, haben es aber in der Literatur nicht erwähnt.

Ich verstehe die Ableitung über die kleinsten Quadrate, auf die sie sich beziehen, nicht vollständig, aber im Allgemeinen [Update: Ich werde sie irgendwann kurz zusammenfassen] halte ich diesen Absatz für sinnvoll: Auch wenn die Daten sehr nicht Gauß oder Klasse sind Kovarianzen sind sehr unterschiedlich, die LDA-Achse wird wahrscheinlich immer noch eine gewisse Diskriminierbarkeit ergeben. Der von LDA angegebene Schnittpunkt auf dieser Achse (zwei Klassen trennend) kann jedoch vollständig deaktiviert sein. Eine separate Optimierung kann die Klassifizierung erheblich verbessern.

Beachten Sie, dass sich dies nur auf die Klassifizierungsleistung bezieht. Wenn Sie nur nach einer Reduzierung der Dimensionalität suchen, ist die LDA-Achse alles, was Sie brauchen. Ich vermute also, dass LDA zur Reduzierung der Dimensionalität oft gute Arbeit leistet, selbst wenn die Annahmen verletzt werden.

In Bezug auf rLDA und QDA: rLDA muss verwendet werden, wenn nicht genügend Datenpunkte vorhanden sind, um die Kovarianz innerhalb der Klasse zuverlässig abzuschätzen (und ist in diesem Fall von entscheidender Bedeutung). Und QDA ist eine nichtlineare Methode, daher bin ich mir nicht sicher, wie ich sie zur Reduzierung der Dimensionalität verwenden soll.