Wie kann man "nichtlinear" wie "nichtlineare Dimensionsreduktion" verstehen?

24

Ich versuche die Unterschiede zwischen den linearen Dimensionalitätsreduktionsmethoden (z. B. PCA) und den nichtlinearen Methoden (z. B. Isomap) zu verstehen.

Ich kann nicht ganz verstehen, was die (Nicht-) Linearität in diesem Zusammenhang impliziert. Ich lese aus Wikipedia , dass

Im Vergleich dazu sind die resultierenden Werte nicht so gut organisiert, wenn PCA (ein linearer Dimensionsreduktionsalgorithmus) verwendet wird, um denselben Datensatz in zwei Dimensionen zu reduzieren. Dies zeigt, dass die hochdimensionalen Vektoren (die jeweils einen Buchstaben "A" darstellen), die diese Mannigfaltigkeit abtasten, nichtlinear variieren.

Was macht

Die hochdimensionalen Vektoren (die jeweils einen Buchstaben "A" darstellen), die diese Mannigfaltigkeit abtasten, variieren nicht linear.

bedeuten? Oder allgemeiner: Wie verstehe ich die (Nicht-) Linearität in diesem Zusammenhang?

— Spielende Geschwister
quelle

20

Dimensionsreduktion bedeutet, dass Sie jeden mehrdimensionalen Vektor in einen niedrigdimensionalen Vektor abbilden. Mit anderen Worten, Sie repräsentieren (ersetzen) jeden mehrdimensionalen Vektor durch einen niedrigdimensionalen Vektor.

Lineare Dimensionsreduktion bedeutet, dass Komponenten des niedrigdimensionalen Vektors durch lineare Funktionen der Komponenten des entsprechenden hochdimensionalen Vektors gegeben sind. Zum Beispiel im Falle einer Reduktion auf zwei Dimensionen haben wir:

[x1, x2, ..., xn] ->  [f1(x1, x2, ..., xn), f2(x1, x2, ..., xn)]

Wenn f1und f2(nicht) lineare Funktionen sind, haben wir eine (nicht) lineare Dimensionsreduktion.

— römisch
quelle

3

f (a \cdot x + b) = a \cdot f (x) + b

$f(a\cdot x + b) = a\cdot f(x) + b$

w_{1} x_{1} + \dots + w_{n} x_{n}

$w_1x_1 + \dots + w_nx_n$

1

Was ich meine ist: , wobei und sind die Komponenten der niedrig- bzw. hochdimensionalen Vektoren (und ich denke, das ist nicht das, was Sie meinen). Ich dachte, dass das Problem nicht darin besteht, zu verstehen, was eine lineare Funktion ist, sondern darin, wo die Linearität auftritt.

f_{i} = f_{i} (x_{1}, \dots, x_{n}) = c^{(i)} + ω_{1}^{(i)} x_{1} + \dots ω_{n}^{(i)} x_{n}

$f_i = f_i (x_1, \dots, x_n) = c^{(i)} + \omega^{(i)}_1 x_1 + \dots \omega^{(i)}_n x_n$

f_{i}

$f_i$

x_{i}

$x_i$

— Roman

49

Ein Bild sagt mehr als tausend Worte:

PCA gegen Isomap

Hier suchen wir nach einer eindimensionalen Struktur in 2D. Die Punkte liegen entlang einer S-förmigen Kurve. PCA versucht, die Daten mit einer linearen eindimensionalen Mannigfaltigkeit zu beschreiben, die einfach eine Linie ist; Natürlich passt eine Zeile ziemlich schlecht zu diesen Daten. Isomap sucht nach einer nichtlinearen (dh gekrümmten!) Eindimensionalen Mannigfaltigkeit und sollte in der Lage sein, die zugrunde liegende S-förmige Kurve zu erkennen.

— Amöbe sagt Reinstate Monica
quelle