Die scheinbare Uneinigkeit der Quellen über die lineare, quadratische und Fisher-Diskriminanzanalyse

Ich studiere Diskriminanzanalyse, aber es fällt mir schwer, verschiedene Erklärungen miteinander in Einklang zu bringen. Ich glaube, ich muss etwas vermissen, weil ich noch nie zuvor auf diese (scheinbare) Diskrepanz gestoßen bin. Die Anzahl der Fragen zur Diskriminanzanalyse auf dieser Website scheint jedoch ein Beweis für ihre Komplexität zu sein.

LDA und QDA für mehrere Klassen

Mein Hauptlehrbuch ist Johnson & Wichern Applied Multivariate Statistical Analysis (AMSA) und die darauf basierenden Notizen meines Lehrers. Ich werde die Zwei-Gruppen-Einstellung ignorieren, da ich glaube, dass die vereinfachten Formeln in dieser Einstellung zumindest einen Teil der Verwirrung verursachen. Nach dieser Quelle werden LDA und QDA als parametrische Erweiterung (unter der Annahme einer multivariaten Normalität) einer Klassifizierungsregel definiert, die auf den erwarteten Kosten der Fehlklassifizierung (ECM) basiert. Das ECM summiert sich über die bedingten erwarteten Kosten für die Klassifizierung einer neuen Beobachtung x in eine beliebige Gruppe (einschließlich Fehlklassifizierungskosten und vorheriger Wahrscheinlichkeiten), und wir wählen Klassifizierungsbereiche aus, die dies minimieren. wobei

$$ECM = \sum_{i=1}^{groups} p_i [\sum_{k=1;\space i \ne k}^{groups}P(k|i)c(k|i)]$$ $P(k|i) = P(\text{classifying item as group k } | \text{ item is group i}) = \int_{R_k} f_i(\boldsymbol{x})d\boldsymbol{x}$ , $f_i(\boldsymbol{x})$ ist die Bevölkerungsdichte, $R_k$ ist die Menge der Beobachtungen in Gruppe k, $c$ sind die Kosten und $p_i$ sind die vorherigen Wahrscheinlichkeiten. Neue Beobachtungen können dann der Gruppe zugeordnet werden, für die der innere Term am kleinsten ist oder für die der ausgelassene Teil des inneren Terms $p_k f_k(\boldsymbol{x})$ am größten ist

Angeblich entspricht diese Klassifizierungsregel "einer, die die posterioren Wahrscheinlichkeiten maximiert" (sic AMSA), von der ich nur annehmen kann, dass sie der von mir erwähnte Bayes-Ansatz ist. Ist das richtig? Und ist ECM eine ältere Methode, weil ich sie nirgendwo anders gesehen habe?

Für normale Populationen vereinfacht sich diese Regel auf die quadratische Diskriminanzbewertung: .

$$d_i^Q(\boldsymbol{x}) = -\frac{1}{2} log(\boldsymbol{\Sigma_i}) -\frac{1}{2} (\boldsymbol{x - \mu_i})^T \boldsymbol{\Sigma}_i^{-1}(\boldsymbol{x - \mu_i}) + log(p_i)$$

Dies scheint äquivalent zu den Elementen der Statistischen Learning (ESL) Formel 4.12 auf Seite 110, obwohl sie es als eine quadratische Diskriminanzanalyse beschreiben Funktion eher als eine Partitur . Darüber hinaus kommen sie hier durch das logarithmische Verhältnis multivariater Dichten an (4.9). Ist dies noch ein anderer Name für Bayes 'Ansatz?

Wenn wir gleich Kovarianz annehmen vereinfacht die Formel noch weiter zu der linearen Diskriminanzfunktion Score .

$$d_i(\boldsymbol{x}) = \boldsymbol{\mu_i}^T \boldsymbol{\Sigma}^{-1}\boldsymbol{x} -\frac{1}{2} \boldsymbol{\mu_i}^T \boldsymbol{\Sigma}^{-1} \boldsymbol{\mu_i} + log(p_i)$$

Diese Formel unterscheidet sich von ESL (4.10), wo der erste Term umgekehrt ist: . Die ESL-Version ist auch die unter Statistisches Lernen in R aufgeführte . Darüber hinaus wird in SAS Ausgang in AMSA präsentiert eine lineare Diskriminanten - Funktion beschrieben wird , von einer konstanten bestehend und ein Koeffizient Vektor , scheinbar konsistent mit der ESL-Version.$x^T \boldsymbol{\Sigma}^{-1}\mu_k$$0.5 \bar{X}_j^T COV^{-1}\bar{X}_j + ln \text{ prior}_j$$COV^{-1}\bar{X}_j$

Was könnte der Grund für diese Diskrepanz sein?

Diskriminanten und Fischers Methode

Hinweis: Wenn diese Frage als zu groß eingestuft wird, entferne ich diesen Abschnitt und öffne eine neue Frage, die jedoch auf dem vorherigen Abschnitt aufbaut. Entschuldigung für die Textwand, ich habe mein Bestes versucht, sie etwas zu strukturieren, aber ich bin sicher, dass meine Verwirrung über diese Methode zu einigen merkwürdigen logischen Sprüngen geführt hat.

Das AMSA-Buch beschreibt die Fischermethode auch für mehrere Gruppen. Allerdings ttnphns hat darauf hingewiesen , mehrere Male , dass die FDA ist einfach LDA mit zwei Gruppen. Was ist diese Multiklassen-FDA dann? Vielleicht kann die FDA mehrere Bedeutungen haben?

AMSA beschreibt Fischers Diskriminanten als die Eigenvektoren von , die das Verhältnis maximieren . Die linearen Kombinationen sind dann die Probendiskriminanten (von denen es ). Zur Klassifizierung wählen wir die Gruppe k mit dem kleinsten Wert für wobei r die Anzahl der Diskriminanten ist, die wir verwenden möchten. Wenn wir alle Diskriminanten verwenden, entspricht diese Regel der linearen Diskriminanzfunktion.$\boldsymbol{W^{-1}B}$$\boldsymbol{\frac{\hat{a}^TB\hat{a}}{\hat{a}^TW\hat{a}}}$$\boldsymbol{\hat{e}_ix}$$min(g-1, p)$$\sum_{j=1}^{r}[\boldsymbol{\hat{e}_j^T}(\boldsymbol{x}-\boldsymbol{\bar{x}}_k)]^2$

Viele Erklärungen zu LDA scheinen die Methodik zu beschreiben, die im AMSA-Buch als FDA bezeichnet wird, dh ausgehend von diesem Aspekt zwischen / innerhalb der Variabilität. Was ist dann mit FDA gemeint, wenn nicht die Zersetzung der BW-Matrizen?

Dies ist das erste Mal, dass das Lehrbuch den Aspekt der Dimensionsreduzierung der Diskriminanzanalyse erwähnt, während mehrere Antworten auf dieser Site den zweistufigen Charakter dieser Technik betonen, dies jedoch in einer Zwei-Gruppen-Einstellung nicht klar ist, da es nur 1 gibt diskriminant. Angesichts der obigen Formeln für Mehrklassen-LDA und QDA ist mir immer noch nicht klar, wo die Diskriminanten auftauchen.

Dieser Kommentar hat mich besonders verwirrt und festgestellt, dass die Bayes-Klassifizierung im Wesentlichen für die ursprünglichen Variablen durchgeführt werden kann. Aber wenn FDA und LDA mathematisch äquivalent sind, wie im Buch und hier , sollte die Dimensionsreduktion nicht den Funktionen inhärent sein ? Ich glaube, das ist es, worauf sich dieser letzte Link bezieht, aber ich bin mir nicht ganz sicher.$d_i$

In den Kursnotizen meines Lehrers wird weiter erklärt, dass die FDA im Wesentlichen eine Form der kanonischen Korrelationsanalyse ist. Ich habe nur eine andere Quelle gefunden, die über diesen Aspekt spricht, aber es scheint wieder einmal eng mit dem Fisher-Ansatz verbunden zu sein, das Zwischen- und das Innerhalb der Variabilität zu zerlegen. SAS präsentiert in seinem LDA / QDA-Verfahren (DISCRIM) ein Ergebnis, das offenbar mit der Fisher-Methode zusammenhängt ( https://stats.stackexchange.com/a/105116/62518 ). Die FDA-Option (CANDISC) von SAS führt jedoch im Wesentlichen eine kanonische Korrelation durch, ohne diese sogenannten Fisher-Klassifizierungskoeffizienten darzustellen. Es enthält rohe kanonische Koeffizienten, von denen ich glaube, dass sie den von lda (MASS) erhaltenen W-1B-Eigenvektoren von R entsprechen (https://support.sas.com/documentation/cdl/en/statug/63033/HTML/default/viewer.htm#statug_candisc_sect019.htm ). Die Klassifizierungskoeffizienten scheinen aus der Diskriminanzfunktion erhalten zu werden, die ich in meinem LDA- und QDA-Abschnitt beschrieben habe (da es 1 Funktion pro Population gibt und wir die größte auswählen).

Ich wäre dankbar für alle Klarstellungen oder Verweise auf Quellen, die mir helfen könnten, den Wald durch die Bäume zu sehen. Die Hauptursache für meine Verwirrung scheint zu sein, dass verschiedene Lehrbücher Methoden mit unterschiedlichen Namen aufrufen oder eine geringfügige Variation der Mathematik darstellen, ohne die anderen Möglichkeiten anzuerkennen, obwohl ich denke, dass dies angesichts des Alters des AMSA-Buches keine Überraschung sein sollte .

Ich spreche nur einen Aspekt der Frage an und mache es intuitiv ohne Algebra.

Wenn die Klassen die gleichen Varianz-Kovarianz-Matrizen haben und sich nur durch die Verschiebung ihrer Schwerpunkte im dimensionalen Raum unterscheiden, sind sie im "Unterraum" vollständig linear trennbar . Dies ist, was LDA tut. Stellen Sie sich vor, Sie haben drei identische Ellipsoide im Raum der Variablen . Sie müssen die Informationen aus allen Variablen verwenden, um die Klassenzugehörigkeit fehlerfrei vorherzusagen. Aufgrund der Tatsache, dass es sich um gleich große und orientierte Wolken handelte, ist es jedoch möglich, sie durch eine gemeinsame Umwandlung in Kugeln mit Einheitsradius neu zu skalieren. Dann ist$g$$p$$q=min(g-1,p)$$V_1, V_2, V_3$$q=g-1=2$unabhängige Dimensionen werden ausreichen, um die Klassenzugehörigkeit so genau wie früher vorherzusagen. Diese Dimensionen werden als Diskriminanzfunktionen . Mit 3 gleich großen Punktekugeln benötigen Sie nur 2 axiale Linien und müssen die Mittelpunktskoordinaten der Kugeln kennen, um jeden Punkt richtig zuzuweisen.$D_1, D_2$

Diskriminanten sind unkorrelierte Variablen, ihre Kovarianzmatrizen innerhalb der Klasse sind idealerweise Identitätsmatrizen (die Bälle). Diskriminanten bilden einen Unterraum des ursprünglichen Variablenraums - sie sind ihre linearen Kombinationen. Sie sind jedoch keine rotationsähnlichen (PCA-ähnlichen) Achsen: Im ursprünglichen Variablenraum sind Diskriminanten als Achsen nicht zueinander orthogonal .

Unter der Annahme der Homogenität der Varianz-Kovarianzen innerhalb der Klasse ist die Verwendung der LDA zur Klassifizierung aller vorhandenen Diskriminanten nicht schlechter als die sofortige Klassifizierung anhand der ursprünglichen Variablen. Sie müssen jedoch nicht alle Diskriminanten verwenden. Sie könnten nur zuerst am stärksten / statistisch signifikantesten von ihnen ist. Auf diese Weise verlieren Sie nur minimale Informationen für die Klassifizierung und die Fehlklassifizierung ist minimal. Aus dieser Perspektive ist LDA eine Datenreduktion ähnlich wie PCA, die nur überwacht wird.$m<q$

Beachten Sie, dass es unter der Annahme der Homogenität (+ multivariate Normalität) und unter der Voraussetzung, dass Sie alle Diskriminanten in der Klassifizierung verwenden möchten, möglich ist, die Extraktion der Diskriminanten selbst zu umgehen - was ein verallgemeinertes Eigenproblem beinhaltet - und die sogenannten "Fisher-Klassifizierungsfunktionen" zu berechnen. aus den Variablen direkt, um mit ihnen zu klassifizieren , mit dem entsprechenden Ergebnis. Wenn also die Klassen in ihrer Form identisch sind, könnten wir die Eingangsvariablen oder die Fisher-Funktionen oder die Diskriminanten als alle äquivalenten Sätze von "Klassifikatoren" betrachten. Diskriminanten sind jedoch in vielerlei Hinsicht bequemer. $g$$p$$g$$q$$^1$

Da die Klassen in der Realität normalerweise keine "identischen Ellipsen" sind, ist die Klassifizierung durch die Diskriminanten etwas schlechter als bei einer Bayes-Klassifizierung durch alle ursprünglichen Variablen. In diesem Diagramm sind beispielsweise die beiden Ellipsoide nicht parallel zueinander. und man kann visuell erfassen, dass die einzelne vorhandene Diskriminante nicht ausreicht, um Punkte so genau zu klassifizieren, wie es die beiden Variablen zulassen. QDA (quadratische Diskriminanzanalyse) wäre dann eine schrittweise bessere Annäherung als LDA. Ein praktischer Ansatz auf halbem Weg zwischen LDA und QDA besteht darin, LDA-Diskriminanten zu verwenden, aber ihre beobachteten Kovarianzmatrizen für getrennte Klassen bei der Klassifizierung zu verwenden ( siehe , siehe$q$$p$) anstelle ihrer gepoolten Matrix (die die Identität ist).

(Und ja, LDA kann als eng verwandt mit MANOVA und kanonischer Korrelationsanalyse oder multivariater Regression mit reduziertem Rang angesehen werden - siehe , siehe , siehe .)

---

$^1$ Eine wichtige terminologische Anmerkung. In einigen Texten können die Fisher-Klassifizierungsfunktionen als "Fisher-Diskriminanzfunktionen" bezeichnet werden, was mit den Diskriminaten verwechselt werden kann, die kanonische Diskriminanzfunktionen sind (dh erhalten in der Eigendekomposition von$g$$q$$\bf W^{-1}B$). Aus Gründen der Klarheit empfehle ich, "Fisher-Klassifizierungsfunktionen" gegenüber "kanonischen Diskriminanzfunktionen" (kurz = Diskriminanten) zu sagen. Nach heutigem Verständnis ist LDA die kanonische lineare Diskriminanzanalyse. "Fisher's Diskriminant Analysis" ist zumindest meines Wissens entweder LDA mit 2 Klassen (wobei die einzelne kanonische Diskriminante zwangsläufig dieselbe ist wie die Klassifizierungsfunktionen von Fisher) oder im Großen und Ganzen die Berechnung von Fisher's Klassifizierungsfunktionen in Mehrklasseneinstellungen.