Wann würden Sie bei der Klassifizierung eher PCA als LDA verwenden?

10

Ich lese diesen Artikel über den Unterschied zwischen der Analyse von Hauptkomponenten und der Analyse mehrerer Diskriminanten (lineare Diskriminanzanalyse) und versuche zu verstehen, warum Sie jemals PCA anstelle von MDA / LDA verwenden würden.

Die Erklärung ist wie folgt zusammengefasst:

Grob gesagt versuchen wir in PCA, die Achsen mit maximalen Varianzen zu finden, in denen die Daten am meisten verteilt sind (innerhalb einer Klasse, da PCA den gesamten Datensatz als eine Klasse behandelt), und in MDA maximieren wir zusätzlich die Streuung zwischen Klassen.

Möchten Sie nicht immer sowohl die Varianz als auch die Streuung zwischen den Klassen maximieren?

— chris
quelle

1

Entschuldigung, ich meinte multiple Diskriminanzanalyse, die auch als multiple lineare Diskriminanzanalyse bezeichnet zu werden scheint

— Chris

1

Sie sollten Ihre Frage klären, da dies ab sofort trivial ist: Sie sollten PCA gegenüber MDA bevorzugen, wenn Ihre Daten keine zu unterscheidenden Klassen enthalten. Ich denke, Sie sollten angeben, dass es um die Klassifizierung in der Frage geht.

— Firebug

1

LDA ist ein viel häufigerer Begriff als MDA. Es ist nicht nötig zu sagen "mehrfach linear", "linear" ist genug.

— Amöbe sagt Reinstate Monica

11

Ihnen fehlt etwas Tieferes: PCA ist keine Klassifizierungsmethode.

PCA beim maschinellen Lernen wird als Feature-Engineering-Methode behandelt. Wenn Sie PCA auf Ihre Daten anwenden, garantieren Sie, dass keine Korrelation zwischen den resultierenden Funktionen besteht. Davon profitieren viele Klassifizierungsalgorithmen.

Sie müssen immer bedenken, dass Algorithmen möglicherweise Annahmen zu den Daten haben, und wenn solche Annahmen nicht zutreffen, können sie eine Underperformance aufweisen.

LDA muss eine Kovarianzmatrix-Inversion berechnen, um die Daten zu projizieren (überprüfen Sie diese Threads und Antworten: Sollte eine PCA durchgeführt werden, bevor ich eine Klassifizierung durchführe? Und ist es sinnvoll, PCA und LDA zu kombinieren? ). Wenn Sie nur wenige Daten haben, ist dies instabil und Sie erhalten überangepasste Projektionen in Richtung Ihrer Datenpunkte, dh eine singuläre Kovarianzmatrix innerhalb der Klasse. PCA wird normalerweise verwendet, um dies zu vermeiden und die Dimension des Problems zu verringern.

Die Antwort lautet also, dass Sie PCA niemals zur Klassifizierung verwenden, aber Sie können damit versuchen, die Leistung von LDA zu verbessern.

— Firebug
quelle

7

Während die vorherige Antwort von Firebug richtig ist, möchte ich eine andere Perspektive hinzufügen:

Unüberwachtes vs. überwachtes Lernen:

LDA ist sehr nützlich, um Dimensionen zu finden, die darauf abzielen, Cluster zu trennen. Daher müssen Sie Cluster vorher kennen. LDA ist nicht unbedingt ein Klassifikator, kann aber als einer verwendet werden. Daher kann LDA nur beim überwachten Lernen verwendet werden

PCA ist ein allgemeiner Ansatz zur Entrauschung und Dimensionsreduzierung und erfordert keine weiteren Informationen wie Klassenbezeichnungen beim überwachten Lernen. Daher kann es beim unbeaufsichtigten Lernen eingesetzt werden.

— Nikolas Rieble
quelle

2

+1, besonders für LDA is not neccesarily a classifier. Einem Leser (auch dem OP) wird empfohlen, diese verwandte Frage zu lesen: Wie LDA, eine Klassifizierungstechnik, auch als Dimensionsreduktionstechnik wie PCA dient .

— ttnphns

und Antworten hier vergleichen Ausgaben und Diagramme von LDA und PCA als dim. Ermäßigungen.

— ttnphns

(+1) LDA ist wirklich eine Dimensionsreduktionstechnik, eine Verallgemeinerung der linearen Diskriminante nach Fisher, die normalerweise als Klassifizierungskriterium behandelt wird.

— Firebug

2

LDA wird verwendet, um mehrdimensionalen Raum zu zerlegen.

PCA wird verwendet, um den mehrdimensionalen Raum zu kollabieren.

Zum Beispiel: 3D-Objekte werfen 2D-Schatten. PCA ermöglicht es uns oft, Hunderte von räumlichen Dimensionen in eine Handvoll niedrigerer räumlicher Dimensionen zu reduzieren, während 70% - 90% der wichtigen Informationen erhalten bleiben.

Wie ich die Größe und Form Ihrer Hand aus dem Schatten sehen kann. Ich kann dir nicht alles über die Form deiner Hand erzählen. Aber durch eine Sammlung von 3 oder 4 Schatten aus optimalen bekannten Winkeln. Dann könnte ich Ihnen die meisten Dinge über die Größe und Form der Hand erzählen.

— Brad
quelle