Variablen für SVD / PCA "normalisieren"

Angenommen, wir haben $N$ messbare Variablen , führen eine Anzahl von Messungen durch und möchten dann eine Singulärwertzerlegung für die Ergebnisse durchführen, um die Achsen mit der höchsten Varianz für die Punkte zu finden im dimensionalen Raum. ( Hinweis: davon aus, dass die Mittel der bereits abgezogen worden, so ⟨ ein i ⟩ = 0 für alle i .)M > N M $(a_1, a_2, \ldots, a_N)$$M > N$$M$$N$$a_i$$\langle a_i \rangle = 0$$i$

Nehmen wir nun an, dass eine (oder mehrere) der Variablen eine signifikant andere charakteristische Größe als der Rest hat. Zum Beispiel könnte $a_1$ Werte im Bereich von $10-100$ während der Rest bei $0.1-1$ . Dadurch wird die Achse mit der höchsten Varianz sehr stark in Richtung der Achse $a_1$ verschoben.

Der Unterschied in der Größe kann einfach auf eine unglückliche Wahl der Maßeinheit zurückzuführen sein (wenn es sich um physikalische Daten handelt, z. B. Kilometer gegen Meter), aber tatsächlich können die verschiedenen Variablen völlig unterschiedliche Dimensionen haben (z. B. Gewicht gegen Volumen) Es gibt möglicherweise keine offensichtliche Möglichkeit, "vergleichbare" Einheiten für sie auszuwählen.

Frage: Ich würde gerne wissen, ob es Standard- / Standardmethoden zur Normalisierung der Daten gibt, um dieses Problem zu vermeiden. Ich interessiere mich mehr für Standardtechniken, die zu diesem Zweck vergleichbare Größen für erzeugen, $a_1 - a_N$als etwas Neues zu erfinden.

BEARBEITEN: Eine Möglichkeit besteht darin, jede Variable durch ihre Standardabweichung oder ähnliches zu normalisieren. Dann tritt jedoch das folgende Problem auf: Wir interpretieren die Daten als Punktwolke im $N$ dimensionalen Raum. Diese Punktwolke kann gedreht werden, und diese Art der Normalisierung liefert je nach Drehung unterschiedliche Endergebnisse (nach der SVD). (Stellen Sie sich im extremsten Fall vor, Sie würden die Daten präzise drehen, um die Hauptachsen an den Hauptachsen auszurichten.)

Ich gehe davon aus, dass es keine rotationsinvariante Methode gibt, aber ich würde mich freuen, wenn jemand mich auf eine Diskussion dieses Themas in der Literatur hinweisen könnte, insbesondere in Bezug auf Vorbehalte bei der Interpretation der Ergebnisse.

Die drei häufigsten Normalisierungen sind Zentrieren, Skalieren und Standardisieren.

Sei eine Zufallsvariable.$X$

Die Zentrierung ist

Die resultierende wird ¯ x * = 0 .$x^*$$\bar{x^*}=0$

Die Skalierung ist

Das resultierende wird ∑ i x ∗ i 2 = 1 haben .$x^*$$\sum_{i}{{{x_i^*}}^2} = 1$

Standardisierung ist Zentrieren-dann-Skalieren. Die sich ergebende wird ¯ x * = 0 und Σ i x * i 2 = 1 .$x^*$$\bar{x^*}=0$$\sum_{i}{{{x_i^*}}^2} = 1$

Sie haben völlig Recht, dass es für PCA problematisch sein kann, einzelne Variablen mit sehr unterschiedlichen Abweichungen zu haben, insbesondere wenn dieser Unterschied auf unterschiedliche Einheiten oder unterschiedliche physikalische Abmessungen zurückzuführen ist. Aus diesem Grund wird empfohlen, anstelle der Kovarianzmatrix eine PCA für die Korrelationsmatrix durchzuführen, es sei denn, die Variablen sind alle vergleichbar (gleiche physikalische Größe, gleiche Einheiten). Siehe hier:

• PCA über Korrelation oder Kovarianz?

Eine PCA für die Korrelationsmatrix ist gleichbedeutend mit einer Standardisierung aller Variablen vor der Analyse (und einer anschließenden PCA für die Kovarianzmatrix). Standardisieren bedeutet, jede Variable zu zentrieren und dann durch ihre Standardabweichung zu dividieren, so dass alle von der Einheitsvarianz abweichen. Dies kann als praktischer "Einheitenwechsel" angesehen werden, um alle Einheiten vergleichbar zu machen.

Man kann sich fragen, ob es manchmal einen besseren Weg gibt, Variablen zu "normalisieren". Beispielsweise kann man sich dafür entscheiden, durch eine robuste Varianzschätzung zu dividieren, anstatt durch die rohe Varianz. Dies wurde im folgenden Thread gefragt und in der folgenden Diskussion nachgelesen (obwohl dort keine definitive Antwort gegeben wurde):

• Warum dividieren wir vor der PCA durch die Standardabweichung und nicht durch einen anderen Standardisierungsfaktor?

Schließlich haben Sie befürchtet, dass das Normalisieren mit Standardabweichung (oder ähnlichem) nicht rotationsinvariant ist. Nun ja, das ist es nicht. Wie @whuber im obigen Kommentar bemerkte, gibt es dafür keine rotationsinvariante Methode: Das Ändern von Einheiten einzelner Variablen ist keine rotationsinvariante Operation ! Hier gibt es nichts zu befürchten.

Eine übliche Technik vor dem Aufbringen von PCA besteht darin, den Mittelwert von den Proben zu subtrahieren. Wenn Sie dies nicht tun, ist der erste Eigenvektor der Mittelwert. Ich bin nicht sicher, ob Sie es getan haben, aber lassen Sie mich darüber sprechen. Wenn wir in MATLAB-Code sprechen: das ist

clear, clf
clc
%% Let us draw a line
scale = 1;
x = scale .* (1:0.25:5);
y = 1/2*x + 1;

%% and add some noise
y = y + rand(size(y));

%% plot and see
subplot(1,2,1), plot(x, y, '*k')
axis equal

%% Put the data in columns and see what SVD gives
A = [x;y];
[U, S, V] = svd(A);

hold on
plot([mean(x)-U(1,1)*S(1,1) mean(x)+U(1,1)*S(1,1)], ...
     [mean(y)-U(2,1)*S(1,1) mean(y)+U(2,1)*S(1,1)], ...
     ':k');
plot([mean(x)-U(1,2)*S(2,2) mean(x)+U(1,2)*S(2,2)], ...
     [mean(y)-U(2,2)*S(2,2) mean(y)+U(2,2)*S(2,2)], ...
     '-.k');
title('The left singular vectors found directly')

%% Now, subtract the mean and see its effect
A(1,:) = A(1,:) - mean(A(1,:));
A(2,:) = A(2,:) - mean(A(2,:));

[U, S, V] = svd(A);

subplot(1,2,2)
plot(x, y, '*k')
axis equal
hold on
plot([mean(x)-U(1,1)*S(1,1) mean(x)+U(1,1)*S(1,1)], ...
     [mean(y)-U(2,1)*S(1,1) mean(y)+U(2,1)*S(1,1)], ...
     ':k');
plot([mean(x)-U(1,2)*S(2,2) mean(x)+U(1,2)*S(2,2)], ...
     [mean(y)-U(2,2)*S(2,2) mean(y)+U(2,2)*S(2,2)], ...
     '-.k');
title('The left singular vectors found after subtracting mean')

Wie aus der Abbildung ersichtlich, sollten Sie den Mittelwert von den Daten subtrahieren, wenn Sie die (Co) Varianz besser analysieren möchten. Dann liegen die Werte nicht zwischen 10-100 und 0.1-1, sondern ihr Mittelwert ist alle Null. Die Varianzen werden als Eigenwerte (oder Quadrat der Singularwerte) ermittelt. Die gefundenen Eigenvektoren werden für den Fall, dass wir den Mittelwert ebenso subtrahieren wie für den Fall, dass wir dies nicht tun, nicht von der Skalierung einer Dimension beeinflusst. Ich habe zum Beispiel Folgendes getestet und beobachtet, das besagt, dass das Subtrahieren des Mittelwerts für Ihren Fall von Bedeutung sein kann. Das Problem kann sich also nicht aus der Varianz ergeben, sondern aus der Übersetzungsdifferenz.

% scale = 0.5, without subtracting mean
U =

-0.5504   -0.8349
-0.8349    0.5504


% scale = 0.5, with subtracting mean
U =

-0.8311   -0.5561
-0.5561    0.8311


% scale = 1, without subtracting mean
U =

-0.7327   -0.6806
-0.6806    0.7327

% scale = 1, with subtracting mean
U =

-0.8464   -0.5325
-0.5325    0.8464


% scale = 100, without subtracting mean
U =

-0.8930   -0.4501
-0.4501    0.8930


% scale = 100, with subtracting mean
U =

-0.8943   -0.4474
-0.4474    0.8943

Zur Normalisierung der Daten für PCA wird auch die folgende Formel verwendet

$\text{SC}=100\frac{X-\min(X)}{\max(X)-\min(X)}$

$X$$c$$t$$X$