Was sind "Koeffizienten linearer Diskriminanten" in LDA?

In verwende Rich die ldaFunktion aus der Bibliothek, MASSum die Klassifizierung durchzuführen. Wie ich LDA verstehe, wird dem Eingang die Bezeichnung zugewiesen , die maximiert , richtig?$x$$y$$p(y|x)$

Aber wenn ich das Modell , in das verstehe ich die Ausgabe von nicht ganz ,

Bearbeiten: Um die Ausgabe unten zu reproduzieren, führen Sie zuerst Folgendes aus:

library(MASS)
library(ISLR)

train = subset(Smarket, Year < 2005)

lda.fit = lda(Direction ~ Lag1 + Lag2, data = train)

> lda.fit
Call:
lda(Direction ~ Lag1 + Lag2, data = train)

Prior probabilities of groups:
    Down       Up 
0.491984 0.508016 

Group means:
            Lag1        Lag2
Down  0.04279022  0.03389409
Up   -0.03954635 -0.03132544

Coefficients of linear discriminants:
            LD1
Lag1 -0.6420190
Lag2 -0.5135293

Ich verstehe alle Informationen in der obigen Ausgabe, aber eine Sache, was ist LD1? Ich suche im Web danach. Ist es ein linearer Diskriminanz-Score ? Was ist das und warum brauche ich es?

AKTUALISIEREN

Ich habe mehrere Posts gelesen (wie diesen und diesen ) und auch im Web nach DA gesucht. Und jetzt ist hier, was ich von DA oder LDA halte.

1. Es kann verwendet werden, um eine Klassifizierung durchzuführen, und wenn dies der Zweck ist, kann ich den Bayes-Ansatz verwenden, dh für jede Klasse das hintere berechnen und dann zu der Klasse mit dem höchsten hinteren klassifizieren . Auf diese Weise muss ich die Diskriminanten überhaupt nicht herausfinden, oder?$p(y|x)$$y_i$$x$

2. Wie ich in den Beiträgen gelesen habe, ist DA oder zumindest LDA hauptsächlich auf Dimensionsreduktion ausgerichtet , für Klassen und Dim-Prädiktorraum kann ich das Dim in einen neuen -Dim-Merkmalsraum projizieren , das heißt, , kann als transformierter Merkmalsvektor vom ursprünglichen , und jedes ist der Vektor, auf den projiziert wird.$K$$D$$D$$x$$(K-1)$$z$

   $$\begin{align*}x&=(x_1,...,x_D)\\z&=(z_1,...,z_{K-1})\\z_i&=w_i^Tx\end{align*}$$ $z$$x$$w_i$$x$

Habe ich recht mit den obigen Aussagen? Wenn ja, habe ich folgende Fragen:

1. Was ist eine Diskriminante ? Ist jeder Eintrag im Vektor eine Diskriminante? Oder ?$z_i$$z$$w_i$

2. Wie mache ich eine Klassifizierung mit Diskriminanten?

LDA1$-0.6420190\times$Lag1$+ -0.5135293\times$Lag2

Die folgende Grafik zeigt die Beziehung zwischen dem Score, der posterioren Wahrscheinlichkeit und der Klassifizierung für den in der Frage verwendeten Datensatz. Das Grundmuster gilt immer für LDA mit zwei Gruppen: Es gibt eine 1: 1-Zuordnung zwischen den Scores und der posterioren Wahrscheinlichkeit, und Vorhersagen sind äquivalent, wenn sie entweder anhand der posterioren Wahrscheinlichkeiten oder der Scores getroffen werden.

Antworten auf die Unterfragen und einige andere Kommentare

• Obwohl LDA zur Dimensionsreduzierung verwendet werden kann, ist dies im Beispiel nicht der Fall. Bei zwei Gruppen ist nur eine einzige Punktzahl pro Beobachtung erforderlich, da dies alles ist, was benötigt wird. Dies liegt daran, dass die Wahrscheinlichkeit, in einer Gruppe zu sein, das Komplement der Wahrscheinlichkeit ist, in der anderen Gruppe zu sein (dh sie addieren sich zu 1). Sie können dies in der Grafik sehen: Punktzahlen von weniger als -.4 werden als in der Down- Gruppe klassifiziert, und höhere Punktzahlen werden als Up vorhergesagt .

• Manchmal wird der Vektor der Punktzahl a genannt discriminant function. Manchmal werden die Koeffizienten so genannt. Mir ist nicht klar, ob beides richtig ist. Ich glaube, dass sich MASS discriminantauf die Koeffizienten bezieht.

• Die ldaFunktion des MASS-Pakets erzeugt Koeffizienten auf eine andere Weise als die meisten anderen LDA-Programme. Der alternative Ansatz berechnet einen Satz von Koeffizienten für jede Gruppe und jeder Satz von Koeffizienten hat einen Schnittpunkt. Bei der Diskriminanzfunktion (Punktzahl), die unter Verwendung dieser Koeffizienten berechnet wird, basiert die Klassifizierung auf der höchsten Punktzahl, und es ist nicht erforderlich, hintere Wahrscheinlichkeiten zu berechnen, um die Klassifizierung vorherzusagen. Ich habe einen LDA-Code in GitHub eingefügt, der eine Modifikation der MASSFunktion ist, aber diese bequemeren Koeffizienten erzeugt (das Paket wird aufgerufen Displayr/flipMultivariates, und wenn Sie ein Objekt mit erstellen, können LDASie die Koeffizienten mit extrahieren obj$original$discriminant.functions).

• Ich habe das R für Code alle Konzepte in diesem Beitrag hier veröffentlicht .

• Es gibt keine einzige Formel für die Berechnung der posterioren Wahrscheinlichkeiten aus der Partitur. Der einfachste Weg, die Optionen zu verstehen, ist (für mich jedenfalls), den Quellcode zu betrachten, indem man verwendet:

library(MASS) getAnywhere("predict.lda")

Die Theorie hinter dieser Funktion lautet "Fischers Methode zur Unterscheidung zwischen mehreren Bevölkerungsgruppen". Ich empfehle Kapitel 11.6 in Angewandte multivariate statistische Analyse (ISBN: 9780134995397) als Referenz.