Warum sind zufällige Spaziergänge miteinander korreliert?

Ich habe beobachtet, dass der Absolutwert des Pearson-Korrelationskoeffizienten im Durchschnitt für jedes Paar unabhängiger zufälliger Spaziergänge eine Konstante nahe ist , unabhängig von der Länge des Spaziergangs.0.560.42

Kann jemand dieses Phänomen erklären?

Ich erwartete, dass die Korrelationen kleiner werden, wenn die Gehlänge zunimmt, wie bei jeder zufälligen Sequenz.

Für meine Experimente verwendete ich zufällige Gaußsche Gänge mit dem Schrittmittelwert 0 und der Schrittstandardabweichung 1.

AKTUALISIEREN:

Ich habe vergessen, die Daten zu zentrieren, deshalb war es 0.56statt 0.42.

Hier ist das Python-Skript zur Berechnung der Korrelationen:

import numpy as np
from itertools import combinations, accumulate
import random

def compute(length, count, seed, center=True):
    random.seed(seed)
    basis = []
    for _i in range(count):
        walk = np.array(list(accumulate( random.gauss(0, 1) for _j in range(length) )))
        if center:
            walk -= np.mean(walk)
        basis.append(walk / np.sqrt(np.dot(walk, walk)))
    return np.mean([ abs(np.dot(x, y)) for x, y in combinations(basis, 2) ])

print(compute(10000, 1000, 123))

Ihre eigenständigen Prozesse sind nicht korreliert! Ob und Y t unabhängige Zufallsspaziergänge sind:$X_t$$Y_t$

• Ein zeitlich unbedingter Korrelationskoeffizient existiert nicht. (Sprich nicht darüber .)$\operatorname{Corr}(X, Y)$
• Für jeden Zeitpunkt , Corr $t$ tatsächlich 0.$\operatorname{Corr}(X_t, Y_t)$
• Aber Stichprobenstatistiken, die auf Zeitreihen- Durchschnittswerten basieren, werden zu nichts konvergieren! Der von Ihnen berechnete Probenkorrelationskoeffizient, der auf der Mittelung mehrerer Beobachtungen über die Zeit basiert, ist bedeutungslos.

Intuitiv könnte man (falsch) vermuten, dass:

1. Die Unabhängigkeit zwischen zwei Prozessen und { Y t } impliziert, dass sie keine Korrelation aufweisen. (Für zwei zufällige Spaziergänge, $\{X_t\}$$\{Y_t\}$ nicht.)$\operatorname{Corr}(X, Y)$
2. Die Zeitreihe, Proben Korrelation ρ X Y (dh die Korrelationskoeffizienten berechnet , unter Verwendung von Zeitserien, Muster Statistiken wie ^ μ X$\hat{\rho}_{XY}$) konvergiert auf den PopulationskorrelationskoeffizientenρXYalsT→∞.$\hat{\mu_X} = \frac{1}{T} \sum_{\tau = 1}^T X_\tau$$\rho_{XY}$$T \rightarrow \infty$

Das Problem ist, dass keine dieser Aussagen für zufällige Spaziergänge zutrifft! (Sie gelten für besser verhaltene Prozesse.)

Für instationäre Prozesse:

• Sie können über die Korrelation zwischen den Prozessen und { Y t } zu zwei bestimmten Zeitpunkten sprechen (z. B. ist Corr ( X 2 , Y 3 ) eine absolut vernünftige Aussage.)$\{X_t\}$$\{Y_t\}$$\operatorname{Corr}(X_2, Y_3)$
• Es macht jedoch keinen Sinn, über die Korrelation zwischen den beiden Serien ohne zeitliche Einschränkungen zu sprechen! hat keine genau definierte Bedeutung.$\operatorname{Corr}(X, Y)$

Die Probleme bei einem zufälligen Spaziergang?

1. Für einen Zufallsspaziergang existieren keine bedingungslosen Populationsmomente (dh, die nicht von der Zeit abhängen ) wie E [ X ] . (In gewissem Sinne sind sie unendlich.) In ähnlicher Weise ist der unbedingte Korrelationskoeffizient ρ X Y zwischen zwei unabhängigen Zufallsläufen nicht Null; es existiert tatsächlich nicht!$t$$\operatorname{E}[X]$$\rho_{XY}$
2. Die Annahmen der Ergodensätze gelten nicht und verschiedene Zeitreihenmittelwerte (z. B. )konvergierennichtgegen irgendetwas alsT→∞. $\frac{1}{T} \sum_\tau X_\tau$$T \rightarrow \infty$
   • Bei einer stationären Sequenz konvergiert der Zeitreihenmittelwert schließlich mit dem zeitlich unbedingten Mittelwert. Aber für eine instationäre Sequenz gibt es keinen Mittelwert, der pünktlich ist!

Wenn Sie verschiedene Beobachtungen von zwei unabhängigen Zufallsläufen über die Zeit haben (z. B. , X 2 usw. und Y 1 , Y 2 usw. ) und den Probenkorrelationskoeffizienten berechnen, erhalten Sie eine Zahl zwischen - 1 und$X_1$$X_2$$Y_1$$Y_2$$-1$ . Es ist jedoch keine Annäherung an den Populationskorrelationskoeffizienten (der nicht existiert).$1$

Stattdessen ρ X Y ( T ) (berechnete Zeitreihenmittelwerte unter Verwendung von t = 1 bis t = T ) wird , um im wesentlichen eine Zufallsvariable (mit Werten in [ - 1 , 1 ] ) , die reflektiert die zwei bestimmte Pfade Die zufälligen Spaziergänge erfolgten zufällig (dh die Pfade, die durch die Zeichnung ω definiert sind, die aus dem Probenraum Ω gezogen wurde ).$\hat{\rho}_{XY}(T)$$t=1$$t=T$$[-1, 1]$$\omega$$\Omega$

• Wenn sowohl als auch Y t in die gleiche Richtung abwandern, stellen Sie eine falsche positive Beziehung fest.$X_t$$Y_t$
• Wenn und $X_t$ in unterschiedliche Richtungen abgewandert sind, stellen Sie eine falsche negative Beziehung fest.$Y_t$
• Wenn und Y $X_t$$Y_t$ genug überlagern, stellen Sie eine Beziehung nahe Null fest.

Sie können mit den Begriffen mehr darüber googeln spurious regression random walk.

Eine zufällige Wanderung ist nicht stationär und die Ermittlung von Durchschnittswerten über die Zeit konvergiert nicht mit dem, was Sie erhalten würden, wenn Sie iid-Draws ω aus dem Probenraum Ω nehmen . Wie in den obigen Kommentaren erwähnt, können Sie erste Differenzen Δ x t = x t - x t - 1 nehmen, und für einen zufälligen Gang ist dieser Prozess { Δ x t } stationär.$t$$\omega$$\Omega$$\Delta x_t = x_t - x_{t-1}$$\{\Delta x_t\}$

Große Bildidee:

Mehrfachbeobachtungen über einen bestimmten Zeitraum sind NICHT dasselbe wie Mehrfachentnahmen aus einem Probenraum!

Es sei daran erinnert, dass ein diskreter zeitstochastischer Prozess eine Funktion sowohl der Zeit ( t ∈ N ) als auch eines Abtastraums $\{ X_t \}$$t \in \mathbb{N}$$\Omega$ .

Für Mittelwerte über die Zeit , die über einen Probenraum Ω den Erwartungen entsprechen sollen , sind Stationarität und Ergodizität erforderlich . Dies ist ein zentrales Thema in vielen Zeitreihenanalysen. Und ein Random-Walk ist kein stationärer Prozess.$t$$\Omega$

Verbindung zu Whubers Antwort:

Wenn Sie Mittelwerte über mehrere Simulationen ziehen können (dh mehrere Ziehungen von ), anstatt gezwungen zu sein, Mittelwerte über die Zeit $\Omega$$t$ verschwinden einige Ihrer Probleme.

Selbstverständlich können Sie definieren ρ X Y ( t ) als die Probe Korrelationskoeffizient berechnet wird auf X 1 ... X T und Y 1 ... Y t$\hat{\rho}_{XY}(t)$$X_1\ldots X_t$$Y_1 \ldots Y_t$ und dies wird auch ein stochastischer Prozess sein.

Sie können eine Zufallsvariable wie folgt definieren :$Z_t$

$$Z_t = |\hat{\rho}_{XY}(t)|$$

Für zwei zufällige Spaziergänge, die bei mit N ( 0 , 1 ) Schritten beginnen, ist es einfach, E [ Z 10000 ] durch Simulation zu finden (dh mehrere Ziehungen von $0$$\mathcal{N}(0,1)$$E[Z_{10000}]$$\Omega$ ).

Unten habe ich eine Simulation von 10.000 Berechnungen eines Pearson-Korrelationskoeffizienten durchgeführt. Jedes Mal wenn ich:

• Simulierte zwei zufällige Wanderungen von 10.000 Länge (mit normalverteilten Inkrementen, die aus $\mathcal{N}(0,1)$ ).
• Berechnete den Probenkorrelationskoeffizienten zwischen ihnen.

Das folgende Histogramm zeigt die empirische Verteilung über die 10000 berechneten Korrelationskoeffizienten.

Man kann deutlich beobachten , dass der Zufallsvariable ρ X Y ( 10000 ) überall im Intervall sein kann [ - 1 , 1 ] . Für zwei feste Pfade von X und Y konvergiert der Probenkorrelationskoeffizient mit zunehmender Länge der Zeitreihe nicht gegen irgendetwas.$\hat{\rho}_{XY}(10000)$$[-1, 1]$$X$$Y$

Auf der anderen Seite, für eine bestimmte Zeit (z. B. $t=10,000$ ), wird die Probe Korrelationskoeffizient eine Zufallsvariable mit einer endlichen Mittelwert etc ... Wenn ich nehme den Absolutwert berechnen und den Mittelwert über alle Simulationen, Ich berechne ungefähr 0,42. Ich bin mir nicht sicher, warum Sie dies tun wollen oder warum dies überhaupt sinnvoll ist, aber natürlich können Sie.

Code:

for i=1:10000 
  X = randn(10000,2); 
  Y = cumsum(X); 
  z(i) = corr(Y(:,1), Y(:,2));
end;
histogram(z,20);
mean(abs(z))

Die Mathematik, die benötigt wird, um ein genaues Ergebnis zu erhalten, ist kompliziert, aber wir können einen genauen Wert für den erwarteten quadratischen Korrelationskoeffizienten relativ schmerzlos ableiten . Es hilft erklären , warum ein Wert nahe hält zeigt und warum die Länge zu erhöhen n der Irrfahrt nicht die Dinge ändern.$1/2$$n$

Es besteht die Gefahr von Verwirrung über Standardbegriffe. Die absolute Korrelation, auf die in der Frage Bezug genommen wird, sowie die Statistiken, die sie ausmachen - Varianzen und Kovarianzen -, sind Formeln , die man auf jedes Paar von Realisierungen von Zufallsläufen anwenden kann . Die Frage ist, was passiert, wenn wir uns viele unabhängige Erkenntnisse ansehen. Dafür müssen wir Erwartungen über den Zufalls-Walk-Prozess stellen.

---

(Bearbeiten)

Bevor wir fortfahren, möchte ich Ihnen einige grafische Einblicke geben. Ein Paar unabhängiger zufälliger Spaziergänge ist ein zufälliger Spaziergang in zwei Dimensionen. Wir können den Pfad zeichnen, der von jedem ( X t , Y t ) zu X t + 1 , Y t + 1 verläuft . Wenn dieser Pfad nach unten tendiert (von links nach rechts, auf den üblichen XY-Achsen aufgetragen) , müssen alle Y- Werte negiert werden, um den absoluten Wert der Korrelation zu untersuchen . Zeichnen Sie die Pfade auf Achsen, deren Größe dem X und entspricht$(X,Y)$$(X_t,Y_t)$$X_{t+1},Y_{t+1}$$Y$$X$ - Werte gleich Standardabweichungen und überlagern die kleinsten Quadrate von Y zu X . Die Steigungen dieser Linien sind die absoluten Werte der Korrelationskoeffizienten, die immer zwischen 0 und 1 liegen .$Y$$Y$$X$$0$$1$

Diese Abbildung zeigt solcher Wanderungen mit einer Länge von jeweils 960 (mit normalen Standardunterschieden). Kleine offene Kreise markieren ihre Startpunkte. Dunkle Kreise markieren ihre endgültigen Positionen.$15$$960$

Diese Hänge sind in der Regel ziemlich groß. Perfekt zufällige Streudiagramme dieser vielen Punkte hätten immer Steigungen nahe Null. Wenn wir die hier auftretenden Muster beschreiben müssten, könnten wir sagen, dass die meisten 2D-Irrwege allmählich von einem Ort zum anderen wandern. (Dies sind jedoch nicht unbedingt ihre Start- und Endpunkte!) In etwa der Hälfte der Fälle erfolgt diese Wanderung in diagonaler Richtung - und die Steigung ist dementsprechend hoch.

Der Rest dieses Beitrags skizziert eine Analyse dieser Situation.

---

$(X_i)$$(W_1, W_2, \ldots, W_n)$$W_i$$\sigma^2$

$x = (x_1, \ldots, x_n)$

$$\operatorname{V}(x) = \frac{1}{n}\sum (x_i-\bar x)^2.$$

Eine gute Möglichkeit, diesen Wert zu berechnen, besteht darin, den halben Durchschnitt aller quadrierten Differenzen zu berechnen:

$$\operatorname{V}(x) = \frac{1}{n(n-1)}\sum_{j \gt i} (x_j-x_i)^2.$$

$x$$X$$n$

$$\mathbb{E}(\operatorname{V}(X)) = \frac{1}{n(n-1)}\sum_{j \gt i} \mathbb{E}(X_j-X_i)^2.$$

Die Differenzen sind Summen von iid-Variablen,

$$X_j - X_i = W_{i+1} + W_{i+2} + \cdots + W_j.$$

$W_k$$W_k$$\sigma^2$

$$\mathbb{E}((W_{i+1} + W_{i+2} + \cdots + W_j^2)) = (j-i)\sigma^2.$$

Daraus folgt leicht

$$\mathbb{E}(\operatorname{V}(X)) = \frac{1}{n(n-1)}\sum_{j \gt i} (j-i)\sigma^2 = \frac{n+1}{6}\sigma^2.$$

$x$$y$

$$\mathbb{E}(\operatorname{C}(X,Y)^2) = \frac{3n^6-2n^5-3n^2+2n}{480n^2(n-1)^2}\sigma^4.$$

$X$$Y$$n$

$$\rho^2(n) = \frac{\mathbb{E}(\operatorname{C}(X,Y)^2)}{\mathbb{E}(\operatorname{V}(X))^2} = \frac{3}{40}\frac{3n^3-2n^2+3n-2}{n^3-n}.$$

Obwohl dies nicht konstant ist, nähert es sich schnell einem Grenzwert von $9/40$. Seine Quadratwurzel, ungefähr$0.47$nähert sich daher dem erwarteten absoluten Wert von$\rho(n)$ (Und unterschätzt es).

---

Ich bin sicher, dass ich Rechenfehler gemacht habe, aber Simulationen bestätigen die asymptotische Genauigkeit. In den folgenden Ergebnissen werden die Histogramme von$\rho^2(n)$ zum $1000$Bei jeder Simulation zeigen die vertikalen roten Linien den Mittelwert, während die gestrichelten blauen Linien den Wert der Formel anzeigen. Klar ist es falsch, aber asymptotisch ist es richtig. Offensichtlich die gesamte Verbreitung von$\rho^2(n)$ nähert sich einer Grenze als $n$steigt. Ebenso die Verteilung von$|\rho(n)|$ (das ist die Menge des Interesses) wird sich einem Limit nähern.

Dies ist der RCode, um die Figur zu erzeugen.

f <- function(n){
  m <- (2 - 3* n + 2* n^2 -3 * n^3)/(n - n^3) * 3/40 
}
n.sim <- 1e4
par(mfrow=c(1,4))
for (n in c(3, 10, 30, 100)) {
  u <- matrix(rnorm(n*n.sim), nrow=n)
  v <- matrix(rnorm(n*n.sim), nrow=n)
  x <- apply(u, 2, cumsum)
  y <- apply(v, 2, cumsum)
  sim <- rep(NA_real_, n.sim)
  for (i in 1:n.sim)
    sim[i] <- cor(x[,i], y[,i])^2
  z <- signif(sqrt(n.sim)*(mean(sim) - f(n)) / sd(sim), 3)
  hist(sim,xlab="rho(n)^2", main=paste("n =", n), sub=paste("Z =", z))
  abline(v=mean(sim), lwd=2, col="Red")
  abline(v=f(n), col="Blue", lwd=2, lty=3)
}