Beispiele für unabhängige und nicht korrelierte Daten im realen Leben und Möglichkeiten zu deren Messung / Erkennung

Wir hören immer von diesem Datenvektor im Vergleich zu diesem anderen Datenvektor, der unabhängig voneinander oder nicht korreliert usw. ist, und obwohl es in Bezug auf diese beiden Konzepte leicht zu verstehen ist, möchte ich sie mit Beispielen aus der Realität verknüpfen. Leben, und auch Wege finden, um diese Beziehung zu messen.

Unter diesem Gesichtspunkt suche ich nach Beispielen für zwei Signale, die aus den folgenden Kombinationen bestehen: (Ich beginne mit einigen):

Zwei Signale, die unabhängig UND (notwendigerweise) unkorreliert sind:
- Das Geräusch eines Automotors (nennen Sie es ) und Ihre Stimme ( ), während Sie sprechen. $v_1[n]$ $v_2[n]$
- Eine Aufzeichnung der täglichen Luftfeuchtigkeit ( ) und des Dow-Jones-Index ( ). $v_1[n]$ $v_2[n]$

F1) Wie würden Sie messen / beweisen, dass sie mit diesen beiden Vektoren unabhängig sind? Wir wissen, dass Unabhängigkeit bedeutet, dass das Produkt ihrer PDFs gleich ihrem gemeinsamen PDF ist, und das ist großartig, aber wie kann man mit diesen beiden Vektoren ihre Unabhängigkeit beweisen?

Zwei Signale, die NICHT unabhängig, aber immer noch unkorreliert sind:

F2) Ich kann mir hier keine Beispiele vorstellen ... was wären einige Beispiele? Ich weiß, dass wir die Korrelation messen können, indem wir die Kreuzkorrelation zweier solcher Vektoren verwenden, aber wie würden wir beweisen, dass sie auch NICHT unabhängig sind?

Zwei Signale, die korreliert sind:
- Ein Vektor, der die Stimme einer Opernsängerin in der Haupthalle misst, , während jemand ihre Stimme von irgendwo im Gebäude aufzeichnet, etwa im Proberaum ( ). $v_1[n]$ $v_2[n]$
- Wenn Sie kontinuierlich Ihre Herzfrequenz in Ihrem Auto messen ( ) und auch die Intensität der blauen Lichter messen würden, die auf Ihre Heckscheibe treffen ( ) ... Ich vermute, dass diese sehr korrelieren würden. . :-) $v_1[n]$ $v_2[n]$

Q3) Bezogen auf q2, aber reicht es im Fall der Messung der Kreuzkorrelation von diesem empirischen Standpunkt aus, das Skalarprodukt dieser Vektoren zu betrachten (da dies der Wert an der Spitze ihrer Kreuzkorrelation ist)? Warum interessieren uns andere Werte in der Cross-Corr-Funktion?

Nochmals vielen Dank, je mehr Beispiele, desto besser für den Aufbau der Intuition!

cross-correlation independence

— Spacey
quelle

@ DilipSarwate Danke Dilip, ich werde es mir ansehen. Für den Moment wären einige Beispiele jedoch gut.

— Spacey

Sie können nicht "beweisen", dass sie unabhängig sind, wie es auch bei einer gut ausgearbeiteten Umfrage nicht möglich ist, zu "beweisen", wie alle abstimmen werden - und das aus denselben Gründen.

— Jim Clay

@JimClay Fühlen Sie sich frei, das Kriterium 'beweisen' zu lockern - was ich versuche zu erreichen, sind Möglichkeiten zur Messung / Quantifizierung der Unabhängigkeit. Wir hören oft davon, dass sie so und so unabhängig sind. Woher wissen sie das? Welches Maßband wird verwendet?

— Spacey

Ich möchte wissen, ob die Kreuzkorrelation für zwei analoge Signale mit hoher und für Analysezwecke mit niedriger Auflösung verwendet werden kann.

Wenn wir eine Zufallsvariable X haben und 2 Signale konstruieren, gilt a ** = (x) und ** b ** = (x), wobei und orthogonal sind und ** x = a + b $f_1$ $f_2$ $f_1$ $f_2$ . Würde dies bedeuten, dass solche Signale unabhängig sind? Benötigt dies einige zusätzliche Bedingungen? Diese Eigenschaft wäre interessant, da sie die Erstellung gemeinsamer PDFs von a und b vermeidet .

— Mladen

Antworten:

Ein paar Elemente ... (Ich weiß, dass dies nicht erschöpfend ist, eine vollständigere Antwort sollte wahrscheinlich Momente erwähnen)

Um zu überprüfen, ob zwei Verteilungen unabhängig sind, müssen Sie messen, wie ähnlich ihre gemeinsame Verteilung dem Produkt ihrer Randverteilung . Zu diesem Zweck können Sie einen beliebigen Abstand zwischen den Verteilungen verwenden. Wenn Sie die Kullback-Leibler-Divergenz verwenden, um diese Verteilungen zu vergleichen, berücksichtigen Sie die Menge: $p(x,y)$ $p(x) \times p(y)$

$\int_x \int_y p(x, y) \log \frac{p(x, y)}{p(x) p(y)} dx dy$

Und Sie werden ... die gegenseitigen Informationen erkannt haben! Je niedriger dieser Wert ist, desto unabhängiger sind die Variablen.

Um diese Größe aus Ihren Beobachtungen zu berechnen, können Sie entweder die Dichten , , aus Ihren Daten mit einem Kernel-Dichteschätzer abschätzen und eine numerische Integration in einem feinen Gitter durchführen ; oder quantifizieren Sie einfach Ihre Daten in Bins und verwenden Sie den Ausdruck der gegenseitigen Informationen für diskrete Verteilungen. $p(x)$ $p(y)$ $p(x, y)$ $N$

Auf der Wikipedia-Seite zur statistischen Unabhängigkeit und Korrelation:

Verteilungsgrundstücke

Mit Ausnahme des letzten Beispiels haben diese 2D-Verteilungen nicht korrelierte (diagonale Kovarianzmatrix), jedoch keine unabhängigen Randverteilungen und . $p(x, y)$ $p(x)$ $p(y)$

In der Tat gibt es Situationen, in denen Sie sich alle Werte der Kreuzkorrelationsfunktionen ansehen können. Sie entstehen beispielsweise bei der Audiosignalverarbeitung. Stellen Sie sich zwei Mikrofone vor, die dieselbe Quelle erfassen, aber einen Abstand von einigen Metern haben. Die Kreuzkorrelation der beiden Signale hat eine starke Spitze bei der Verzögerung, die dem Abstand zwischen den Mikrofonen geteilt durch die Schallgeschwindigkeit entspricht. Wenn Sie sich nur die Kreuzkorrelation bei Verzögerung 0 ansehen, werden Sie nicht sehen, dass ein Signal eine zeitversetzte Version des anderen ist!

— Pichenetten
quelle

Danke Pichenetten: 1) Können Sie bitte auf Ihren ersten Punkt näher eingehen? Es fällt mir wirklich schwer zu verstehen, wie ich aus zwei Datenvektoren, x [n] und y [n], möglicherweise ihr JOINT-PDF erstellen kann ,

. Ich kann verstehen, wie die Aufnahme eines Histogramms von x [n] mir ein PDF von X (

) und dasselbe mit Y liefert, aber wie um alles in der Welt kommt man auf eine Verbindung mit zwei Vektoren? Fragen konkret - genaue konkrete Zuordnung eines PDF aus beobachteten Proben. Dies ist, was mich am meisten verwirrt. (Forts.)

p (x, y)

$p(x,y)$

p(x}

$p(x}$

— Spacey

(Forts.) 2) Zusammenfassend: Wenn die Kovarianzmatrix von x und y diagonal ist, dann sind sie nicht korreliert, aber NICHT unbedingt unabhängig korrekt? Um die Unabhängigkeit zu testen, ging es um die Frage (1). Wenn wir jedoch zeigen, dass sie unabhängig sind, muss ihre Kovarianzmatrix natürlich diagonal sein. Habe ich richtig verstanden? Was ist ein Beispiel für zwei physikalische Signale, die ich im wirklichen Leben messen kann, die abhängig, aber nicht korreliert sind? Danke noch einmal.

— Spacey

Angenommen, Sie haben zwei Signale

und

die als Vektoren von

Elementen dargestellt werden. Sie können eine Schätzung erhalten

verwendet wird , beispielsweise eine Kerndichteschätzer:

x_{n}

$x_n$

y_{n}

$y_n$

N

$N$

p (x, y)

$p(x, y)$

wobei

eine Kernelfunktion ist. Sie können auch die gleiche Technik wie beim Erstellen eines Histogramms verwenden, jedoch in 2D. Bauen Sie ein rechteckiges Gitter auf, zählen Sie, wie viele Paare

in jede Zelle des Gitters fallen, und verwenden Sie

p^{*} (x, y) = \sum_{i} \frac{1}{N} K (x - x_{i}, y - y_{i})

$p^*(x, y) = \sum_i \frac{1}{N}K(x - x_i, y - y_i)$

K

$K$

(x_{n}, y_{n})

$(x_n, y_n)$

wobei N die Größe Ihrer Signale und

die Anzahl der Elemente in der Zelle ist, die dem Punkt

p^{*} (x, y) = \frac{C}{N}

$p^*(x, y) = \frac{C}{N}$

C

$C$

(x, y)

$(x, y)$

— Pichenettes

"2 physikalische Signale, die abhängig, aber nicht korreliert wären": Nehmen wir an, wir hacken das GPS eines New Yorker Taxis, um eine (Längen-, Breiten-) Historie seiner Position aufzuzeichnen. Es ist gut möglich, dass der Lat., Lange. Daten werden nicht korreliert - es gibt keine privilegierte "Ausrichtung" der Punktwolke. Aber es wird kaum unabhängig sein, da Sie, wenn Sie gebeten würden, den Breitengrad des Taxis zu erraten, einen viel besseren Tipp abgeben würden, wenn Sie den Längengrad kennen (Sie könnten dann auf eine Karte schauen und das [lat, lang] von Gebäuden besetzte Paare).

— Pichenettes

Ein weiteres Beispiel: Zwei Sinuswellen mit einem ganzzahligen Vielfachen derselben Frequenz. Nullkorrelation (Fourier-Basis ist orthonormal); Aber wenn Sie den Wert eines kennen, gibt es nur eine endliche Menge von Werten, die der andere annehmen kann (denken Sie an einen Lissajous-Plot).

— Pichenettes

Zu schließen, ob zwei Signale unabhängig sind, ist sehr schwierig (bei endlichen Beobachtungen), ohne dass Vorkenntnisse / Annahmen vorliegen.

$X$ $Y$ $X$ $Y$ $Y$ $X$ $Y$

cov (f_{1} (X), f_{2} (Y)) = E (f_{1} (X), f_{2} (Y)) = 0

$\text{cov}(f_1(X),f_2(Y)) = E(f_1(X),f_2(Y)) = 0$

f_{1}

$f_1$

f_{2}

$f_2$

X

$X$

Y

$Y$

f_{1} (x) = f_{2} (x) = x

$f_1(x) = f_2(x) = x$

$E(X^iY^j)$

$X(t)$ $Y(t)$

S_{X, Y} (f), S_{X^{2}, Y} (f), S_{X, Y^{2}} (f) \dots

$S_{X,Y}(f),S_{X^2,Y}(f),S_{X,Y^2}(f) \dots$

f

$f$

Beispiel :

X (t) = \sin (2 π f t)

$X(t) = \sin(2 \pi ft)$

Y (t) = \sin (2 π f t k)

$Y(t) = \sin( 2 \pi ftk)$

k \in Z

$k \in \mathbb{Z}$

k \neq 1

$k \neq 1$

X (t)

$X(t)$

Y (t)

$Y(t)$

\sin (k x)

$\sin(kx)$

\sin (x)

$\sin(x)$

Y (t) = f (X (t))

$Y(t) = f (X (t))$

f

$f$

$X(t)$ $Y(t)$

— rwolst
quelle

X_{x^{2}, Y} (f)

$X_{x^2, Y}(f)$ is exactly? Thank you.

— Spacey

de.wikipedia.org/wiki/Kreuzspektrum Wo wir die Kreuzspektren zwischen den Signalen betrachten

X^{2} (t)

$X^2(t)$ und

Y (t)

$Y(t)$ .

— rwolst