Seltsame Korrelationen in den SVD-Ergebnissen von Zufallsdaten; Haben sie eine mathematische Erklärung oder handelt es sich um einen LAPACK-Fehler?

Ich beobachte ein sehr seltsames Verhalten beim SVD-Ergebnis von Zufallsdaten, das ich sowohl in Matlab als auch in R reproduzieren kann. Es scheint ein numerisches Problem in der LAPACK-Bibliothek zu sein. ist es?

Ich ziehe Proben aus dem dimensionalen Gaußschen mit dem Mittelwert Null und der Identitätskovarianz: . Ich setze sie in eine Datenmatrix . (Ich kann wahlweise oder nicht, dies hat keinen Einfluss auf Folgendes.) Dann führe ich eine Singularwertzerlegung (SVD) durch, um . Nehmen wir zwei bestimmte Elemente von , z. B. und , und fragen Sie, wie sie in verschiedenen Zügen von . Ich würde das erwarten, wenn die Nummer$n=1000$$k=2$$X\sim \mathcal N (0, \mathbf I)$$1000 \times 2$$\mathbf X$$\mathbf X$$\mathbf X=\mathbf{USV}^\top$$\mathbf U$$U_{11}$$U_{22}$$\mathbf X$$N_\mathrm{rep}$ von Ziehungen ist ziemlich groß, dann sollten alle diese Korrelationen um Null liegen (dh Populationskorrelationen sollten Null sein und Stichprobenkorrelationen werden klein sein).

Ich beobachte jedoch einige seltsam starke Korrelationen (um ) zwischen , , und und nur zwischen diesen Elementen. Alle anderen Elementpaare weisen erwartungsgemäß Korrelationen um Null auf. So sieht die Korrelationsmatrix für die "oberen" Elemente von aus (die ersten Elemente der ersten Spalte, dann die ersten Elemente der zweiten Spalte):$\pm0.2$$U_{11}$$U_{12}$$U_{21}$$U_{22}$$20$$\mathbf U$$10$$10$

Beachten Sie seltsam hohe Werte in den oberen linken Ecken jedes Quadranten.

Es war dieser Kommentar von @ whuber, der mich auf diesen Effekt aufmerksam machte. @whuber argumentierte, dass PC1 und PC2 nicht unabhängig voneinander sind und präsentierte diese starke Korrelation als Beweis dafür. Mein Eindruck ist jedoch, dass er versehentlich einen numerischen Fehler in der LAPACK-Bibliothek entdeckt hat. Was geht hier vor sich?

Hier ist der R-Code von @ whuber:

stat <- function(x) {u <- svd(x)$u; c(u[1,1], u[2, 2])};
Sigma <- matrix(c(1,0,0,1), 2);
sim <- t(replicate(1e3, stat(MASS::mvrnorm(10, c(0,0), Sigma))));
cor.test(sim[,1], sim[,2]);

Hier ist mein Matlab-Code:

clear all
rng(7)

n = 1000;     %// Number of variables
k = 2;        %// Number of observations
Nrep = 1000;  %// Number of iterations (draws)

for rep = 1:Nrep
    X = randn(n,k);
    %// X = bsxfun(@minus, X, mean(X));
    [U,S,V] = svd(X,0);

    t(rep,:) = [U(1:10,1)' U(1:10,2)'];
end

figure
imagesc(corr(t), [-.5 .5])
axis square
hold on
plot(xlim, [10.5 10.5], 'k')
plot([10.5 10.5], ylim, 'k')

Dies ist kein Fehler.

Wie wir (ausführlich) in den Kommentaren untersucht haben, geschehen zwei Dinge. Zum einen müssen die Spalten von die SVD-Anforderungen erfüllen: Jede muss eine Einheitslänge haben und zu allen anderen orthogonal sein. Betrachtet man als eine Zufallsvariable, die mit einem bestimmten SVD-Algorithmus aus einer Zufallsmatrix , so stellt man fest, dass diese funktional unabhängigen Nebenbedingungen statistische Abhängigkeiten zwischen den Spalten von erzeugen .$U$$U$$X$$k(k+1)/2$$U$

Diese Abhängigkeiten können auf eine mehr oder weniger stark aufgedeckt werden , indem die Korrelationen zwischen den Komponenten des Studierens , sondern ein zweites Phänomen entsteht : die SVD - Lösung nicht eindeutig ist. Zumindest kann jede Spalte von unabhängig negiert werden, was mindestens verschiedene Lösungen mit Spalten ergibt . Starke Korrelationen (größer als ) können durch geeignete Änderung der Vorzeichen der Spalten induziert werden. (Ein Weg, dies zu tun, ist in meinem ersten Kommentar zu Amoebas Antwort in diesem Thread angegeben: Ich erzwinge alle$U$U 2 k k 1 / 2 u i i , i = 1 , ... , k$U$$2^k$$k$$1/2$$u_{ii},i=1,\ldots, k$dasselbe Vorzeichen haben und alle mit gleicher Wahrscheinlichkeit negativ oder alle positiv machen.) Andererseits können alle Korrelationen verschwinden, indem die Vorzeichen zufällig, unabhängig voneinander und mit gleicher Wahrscheinlichkeit ausgewählt werden. (Ich gebe ein Beispiel unten im Abschnitt "Bearbeiten".)

Mit Vorsicht können wir beide Phänomene teilweise erkennen, wenn wir Streudiagramm-Matrizen der Komponenten von lesen . Bestimmte Merkmale - wie das Auftreten von Punkten, die in genau definierten Kreisregionen nahezu gleichmäßig verteilt sind - lassen auf mangelnde Unabhängigkeit schließen. Andere, wie zum Beispiel Streudiagramme, die eindeutige Korrelationen ungleich Null zeigen, hängen offensichtlich von den im Algorithmus getroffenen Entscheidungen ab - aber solche Entscheidungen sind nur möglich, weil es an erster Stelle an Unabhängigkeit mangelt.$U$

Der ultimative Test für einen Zerlegungsalgorithmus wie SVD (oder Cholesky, LR, LU usw.) ist, ob er das tut, was er behauptet. Unter diesen Umständen genügt es zu prüfen , ob bis zum erwarteten Gleitkommafehler durch das Produkt wiederhergestellt wird, wenn SVD das Dreifache der Matrizen zurückgibt . dass die Spalten von und von orthonormal sind; und dass diagonal ist, seine diagonalen Elemente nicht negativ sind und in absteigender Reihenfolge angeordnet sind. Ich habe solche Tests auf den Algorithmus in angewendet$(U, D, V)$$X$$UDV^\prime$$U$$V$$D$svdRund habe es nie für falsch befunden. Obwohl dies keine Zusicherung ist, ist es völlig richtig, dass solche Erfahrungen - von denen ich glaube, dass sie von sehr vielen Menschen geteilt werden - darauf hindeuten, dass jeder Fehler eine außergewöhnliche Art von Input erfordert, um sich zu manifestieren.

Was folgt, ist eine detailliertere Analyse der in der Frage aufgeworfenen Punkte.

Mit Rder svdProzedur von 's können Sie zunächst überprüfen, ob die Korrelationen zwischen den Koeffizienten von zunehmendem schwächer werden, aber immer noch ungleich Null sind. Wenn Sie einfach eine größere Simulation durchführen würden, würden Sie feststellen, dass diese signifikant sind. (Wenn , sollten 50000 Iterationen ausreichen.) Entgegen der Behauptung in der Frage verschwinden die Korrelationen nicht "vollständig".$k$$U$k = 3$k=3$

Zweitens lässt sich dieses Phänomen besser untersuchen, indem man auf die Grundfrage der Unabhängigkeit der Koeffizienten zurückgeht. Obwohl die Korrelationen in den meisten Fällen gegen Null tendieren, ist der Mangel an Unabhängigkeit klar ersichtlich. Dies wird am deutlichsten durch die vollständige multivariate Verteilung der Koeffizienten des Studierens . Die Art der Verteilung zeigt sich bereits in kleinen Simulationen, in denen die Nicht-Null-Korrelationen (noch) nicht erfasst werden können. Untersuchen Sie beispielsweise eine Streudiagramm-Matrix der Koeffizienten. Um dies praktikabel zu machen, habe ich die Größe jedes simulierten Datensatzes auf und beibehalten , um Realisierungen der zu zeichnen$U$$4$$k=2$$1000$$4\times 2$ Matrix , wodurch eine Matrix erstellt wird. Hier ist die vollständige Streudiagramm-Matrix mit den Variablen, die nach ihrer Position in aufgelistet sind :$U$$1000\times 8$$U$

Das der ersten Spalte zeigt einen interessanten Mangel an Unabhängigkeit zwischen und dem anderen : Sehen Sie sich beispielsweise an, wie der obere Quadrant des mit fast leer ist. oder untersuchen Sie die elliptisch nach oben geneigte Wolke, die die und die nach unten geneigte Wolke für das . Bei genauer Betrachtung zeigt sich ein deutlicher Mangel an Unabhängigkeit bei fast allen dieser Koeffizienten: Nur sehr wenige von ihnen sehen aus der Ferne unabhängig aus, obwohl die meisten von ihnen eine Korrelation nahe Null aufweisen.$u_{11}$$u_{ij}$$u_{21}$$(u_{11}, u_{22})$$(u_{21}, u_{12})$

(NB: Die meisten kreisförmigen Wolken sind Projektionen von einer Hypersphäre, die durch die Normalisierungsbedingung erzeugt wurden und die Summe der Quadrate aller Komponenten jeder Spalte zu einer Einheit zwingen.)

Scatterplot-Matrizen mit und weisen ähnliche Muster auf: Diese Phänomene sind weder auf , noch hängen sie von der Größe jedes simulierten Datensatzes ab. Sie werden nur schwieriger zu generieren und zu untersuchen.$k=3$$k=4$$k=2$

Die Erklärungen für diese Muster beziehen sich auf den Algorithmus, der verwendet wird, um bei der Singularwertzerlegung zu erhalten , aber wir wissen, dass solche Muster der Nichtunabhängigkeit durch die sehr definierenden Eigenschaften von existieren müssen : da jede aufeinanderfolgende Spalte (geometrisch) orthogonal zu der vorhergehenden ist Unter diesen Orthogonalitätsbedingungen bestehen funktionelle Abhängigkeiten zwischen den Koeffizienten, die sich dadurch in statistischen Abhängigkeiten zwischen den entsprechenden Zufallsvariablen niederschlagen.$U$U$U$

Bearbeiten

In Reaktion auf Kommentare ist es möglicherweise erwähnenswert, inwieweit diese Abhängigkeitsphänomene den zugrunde liegenden Algorithmus (zur Berechnung einer SVD) widerspiegeln und inwieweit sie der Art des Prozesses inhärent sind.

Die spezifischen Korrelationsmuster zwischen den Koeffizienten hängen in hohem Maße von willkürlichen Auswahlen ab, die vom SVD-Algorithmus getroffen werden, da die Lösung nicht eindeutig ist: Die Spalten von können immer unabhängig voneinander mit oder multipliziert werden . Es gibt keinen eigentlichen Weg, das Zeichen zu wählen. Wenn also zwei SVD-Algorithmen unterschiedliche (willkürliche oder sogar zufällige) Vorzeichenwahlen treffen, können sie zu unterschiedlichen Mustern von der . Wenn Sie dies sehen möchten, ersetzen Sie die Funktion im folgenden Code durch$U$$-1$$1$$(u_{ij}, u_{i^\prime j^\prime})$stat

stat <- function(x) {
  i <- sample.int(dim(x)[1]) # Make a random permutation of the rows of x
  u <- svd(x[i, ])$u         # Perform SVD
  as.vector(u[order(i), ])   # Unpermute the rows of u
}

Diese ordnet die Beobachtungen zunächst nach dem Zufallsprinzip neu an x, führt eine SVD durch und wendet dann die umgekehrte Reihenfolge an u, um mit der ursprünglichen Beobachtungssequenz übereinzustimmen. Da der Effekt darin besteht, Mischungen aus reflektierten und gedrehten Versionen der ursprünglichen Streudiagramme zu bilden, sehen die Streudiagramme in der Matrix viel gleichmäßiger aus. Alle Beispielkorrelationen sind extrem nahe bei Null (konstruktionsbedingt sind die zugrunde liegenden Korrelationen genau Null). Dennoch wird der Mangel an Unabhängigkeit weiterhin offensichtlich sein (in den einheitlichen Kreisformen, die insbesondere zwischen und ).$u_{i,j}$$u_{i,j^\prime}$

Das Fehlen von Daten in einigen Quadranten einiger der ursprünglichen Streudiagramme (siehe Abbildung oben) ergibt sich daraus, wie der RSVD-Algorithmus Vorzeichen für die Spalten auswählt.

An den Schlussfolgerungen ändert sich nichts. Da die zweite Spalte von orthogonal zur ersten ist, ist sie (als multivariate Zufallsvariable betrachtet) von der ersten abhängig (auch als multivariate Zufallsvariable betrachtet). Sie können nicht alle Komponenten einer Spalte von allen Komponenten der anderen unabhängig machen. Alles, was Sie tun können, ist, die Daten so zu betrachten, dass die Abhängigkeiten verschleiert werden - die Abhängigkeit bleibt jedoch bestehen.$U$

Hier wird der RCode aktualisiert , um die Fälle und einen Teil der Streudiagramm-Matrix zu zeichnen.$k\gt 2$

k <- 2    # Number of variables
p <- 4    # Number of observations
n <- 1e3  # Number of iterations
stat <- function(x) as.vector(svd(x)$u)
Sigma <- diag(1, k, k); Mu <- rep(0, k)
set.seed(17)
sim <- t(replicate(n, stat(MASS::mvrnorm(p, Mu, Sigma))))
colnames(sim) <- as.vector(outer(1:p, 1:k, function(i,j) paste0(i,",",j)))
pairs(sim[, 1:min(11, p*k)], pch=".")

Diese Antwort enthält eine Replikation der Ergebnisse von @ whuber in Matlab sowie eine direkte Demonstration, dass die Korrelationen ein "Artefakt" dafür sind, wie die SVD-Implementierung das Vorzeichen für Komponenten auswählt.

In Anbetracht der langen Kette von möglicherweise verwirrenden Kommentaren möchte ich für die zukünftigen Leser betonen, dass ich mit Folgendem einverstanden bin:

1. Im Rahmen dieser Diskussion sicherlich ist eine Zufallsvariable.$\mathbf U$
2. Spalten von müssen die Länge 1 haben . Dies bedeutet, dass die Elemente in jeder Spalte nicht unabhängig sind. ihre Quadrate summieren sich zu eins. Allerdings bedeutet dies nicht , irgendeine Wechselbeziehung zwischen U i 1 und U j 1 für i ≠ j und die Probe sollten Korrelation für große Anzahl winziger seine N r e p von Zufall zieht.$\mathbf U$$1$$U_{i1}$$U_{j1}$$i\ne j$$N_\mathrm{rep}$
3. Spalten von müssen orthogonal sein. Dies bedeutet, dass die Elemente aus verschiedenen Spalten nicht unabhängig sind. Ihr Skalarprodukt ist Null. Dies impliziert wiederum keine Korrelation zwischen U i 1 und U j 2 , und die Probenkorrelation sollte winzig sein.$\mathbf U$$U_{i1}$$U_{j2}$

Meine Frage war: Warum sehen wir hohe Korrelationen von wenn für eine große Anzahl zufälliger Ziehungen N r e p = 1000 gilt ?$\sim 0.2$$N_\mathrm{rep}=1000$

Hier ist eine Replikation von @ whubers Beispiel mit , k = 2 und N r e p = 1000 in Matlab:$n=4$$k=2$$N_\mathrm{rep}=1000$

Links die Korrelationsmatrix, rechts die Streudiagramme ähnlich wie bei @ whuber's. Die Übereinstimmung zwischen unseren Simulationen scheint perfekt zu sein.

Nun ordne ich, einem genialen Vorschlag von @ttnphns folgend, den Spalten von zufällige Vorzeichen zu , dh nach dieser Zeile:$U$

[U,S,V] = svd(X,0);

Ich füge die folgenden zwei Zeilen hinzu:

U(:,1) = U(:,1) * sign(randn(1));
U(:,2) = U(:,2) * sign(randn(1));

Hier ist das Ergebnis:

Alle Korrelationen verschwinden, genau wie ich es von Anfang an erwartet hatte !

$1$$1$

$\mathbf U$$\mathbf U$

PS. Herzlichen Glückwunsch an @whuber, dass er heute 100.000 Punkte erreicht hat!

$x$$y$

$x$$y$