Beschreibt die Autokorrelationsfunktion einen stochastischen Prozess vollständig?

Wird ein stochastischer Prozess vollständig durch seine Autokorrelationsfunktion beschrieben?

Wenn nicht, welche zusätzlichen Eigenschaften wären erforderlich?

autocorrelation

— Andreas
quelle

Was versteht man unter einer vollständigen Beschreibung eines stochastischen Prozesses? Nun, mathematisch gesehen ist ein stochastischer Prozess eine Sammlung von Zufallsvariablen, eine für jeden Zeitpunkt in einer Indexmenge , wo normalerweise ist die gesamte reelle Linie oder die positive reelle Linie, und eine vollständige Beschreibung bedeutet, dass wir für jede ganze Zahl und Zeitpunkte die (gemeinsamen) Verteilungen von kennen die Zufallsvariablen , , $\{X(t) : t \in {\mathbb T}\}$ $t$ $\mathbb T$ $\mathbb T$ $n \geq 1$ $n$ $t_1, t_2, \ldots, t_n \in \mathbb T$ $n$ $X(t_1)$ $X(t_2)$ $\ldots, X(t_n)$ . Dies ist eine enorme Menge an Informationen: Wir müssen die CDF von für jeden Zeitpunkt , die (zweidimensionale) gemeinsame CDF von und für alle Wahlmöglichkeiten der Zeitpunkte und die (dreidimensionalen) CDFs von , und usw. usw. usw. $X(t)$ $t$ $X(t_1)$ $X(t_2)$ $t_1$ $t_2$ $X(t_1)$ $X(t_2)$ $X(t_3)$

Deshalb haben sich die Leute natürlich nach einfacheren Beschreibungen und restriktiveren Modellen umgesehen. Eine Vereinfachung tritt auf, wenn der Prozess nicht mit einer Änderung des Zeitursprungs zusammenhängt. Was dies bedeutet, ist das

Alle Zufallsvariablen im Prozess haben identische CDFs: für alle . $F_{X(t_1)}(x) = F_{X(t_2)}(x)$ $t_1, t_2$
Zwei beliebige Zufallsvariablen, die durch eine bestimmte Zeitspanne voneinander getrennt sind, haben dieselbe gemeinsame CDF wie jedes andere Paar von Zufallsvariablen, die durch dieselbe Zeitspanne voneinander getrennt sind . Beispielsweise werden die Zufallsvariablen und durch Sekunden getrennt, ebenso wie die Zufallsvariablen und und somit $X(t_1)$ $X(t_1 + \tau)$ $\tau$ $X(t_2)$ $X(t_2 + \tau)$ $F_{X(t_1), X(t_1 + \tau)}(x,y) = F_{X(t_2), X(t_2 + \tau)}(x,y)$
Beliebige drei Zufallsvariablen , , Abstand von und haben dieselbe gemeinsame CDF wie , , wobei auch und voneinander sind, $X(t_1)$ $X(t_1 + \tau_1)$ $X(t_1 + \tau_1 + \tau_2)$ $\tau_1$ $\tau_2$ $X(t_2)$ $X(t_2 + \tau_1)$ $X(t_2 + \tau_1 + \tau_2)$ $\tau_1$ $\tau_2$
und so weiter für alle mehrdimensionalen CDFs. Siehe zum Beispiel die Antwort von Peter K. für Einzelheiten des mehrdimensionalen Falls.

Tatsächlich hängen die probabilistischen Beschreibungen des Zufallsprozesses nicht von dem ab, was wir als Ursprung auf der Zeitachse bezeichnen: Verschieben aller Zeitpunkte um einen festen Betrag zu beschreibt die Zufallsvariablen mit der gleichen Wahrscheinlichkeit. Diese Eigenschaft wird als Strict-Sense-Stationarität bezeichnet, und ein Zufallsprozeß, der diese Eigenschaft genießt, wird als streng stationärer Zufallsprozeß oder einfacher als stationärer Zufallsprozeß bezeichnet. $t_1, t_2, \ldots, t_n$ $\tau$ $t_1 + \tau, t_2 + \tau, \ldots, t_n + \tau$

Beachten Sie, dass eine strikte Stationarität für sich genommen keine bestimmte Form von CDF erfordert. Beispielsweise heißt es nicht, dass alle Variablen Gauß'sch sind.

Das Adjektiv streng legt nahe , dass möglich ist , eine lockere Form von Stationarität zu definieren. Wenn das -Ordnungsgelenk CDF von dasselbe ist wie das -Ordnungsgelenk CDF von für alle Auswahlen von und , dann heißt der Zufallsprozess stationär, um zu ordnen, und wird als stationärer Zufallsprozess -Ordnung bezeichnet. Es ist zu beachten, dass ein stationärer Zufallsprozess mit -Ordnung auch stationär ist, um für jedes Positiv zu ordnen $N^{\text{th}}$ $X(t_1), X(t_2), \ldots, X(t_N)$ $N^{\text{th}}$ $X(t_1+\tau), X(t_2+\tau), \ldots, X(t_N +\tau)$ $t_1,t_2, \ldots, t_N$ $\tau$ $N$ $N^{\text{th}}$ $N^{\text{th}}$ $n$ $n < N$ . (Dies liegt daran, dass die gemeinsame CDF mit -Ordnung die Grenze der CDF mit -Ordnung ist, da der Argumente sich annähert : eine Verallgemeinerung von ). Ein streng stationärer Zufallsprozess ist dann ein Zufallsprozess, der für alle Ordnungen stationär ist . $n^{\text{th}}$ $N^{\text{th}}$ $N-n$ $\infty$ $F_X(x) = \lim_{y\to\infty}F_{X,Y}(x,y)$ $N$

Wenn ein Zufallsprozeß (mindestens) in der Größenordnung stationär ist , haben alle die gleiche Verteilung. Unter der Annahme, daß der Mittelwert existiert, ist für alle gleich . In ähnlicher Weise ist für alle und wird als Potenz des Prozesses bezeichnet. Alle physikalischen Prozesse haben eine endliche Potenz und daher ist es üblich anzunehmen, dass In diesem Fall und insbesondere in der älteren technischen Literatur wird der Prozess als Prozess zweiter Ordnung bezeichnet. Die Wahl des Namens ist unglücklich, weil sie zur Verwechslung mit der zweiten Ordnung einlädt $1$ $X(t)$ $E[X(t)] = \mu$ $t$ $E[(X(t))^2]$ $t$ $E[(X(t))^2] < \infty$ Stationarität (vgl. meine Antwort auf stats.SE ), und so werden wir hier einen Prozess aufrufen, für den für alle endlich ist (ob ist eine Konstante) als endlicher Kraftprozess und vermeide diese Verwirrung. Beachten Sie aber noch einmal, dass $E[(X(t))^2]$ $t$ $E[(X(t))^2]$

Ein stationärer Prozess erster Ordnung muss kein Prozess mit endlicher Kraft sein.

Betrachten Sie einen zufälligen Prozess, der in der Reihenfolge stationär ist . Da die gemeinsame Verteilung von und die gleiche ist wie die gemeinsame Verteilungsfunktion von und , ist und der Wert hängt nur von . Diese Erwartungen sind für einen endlichen endlich und ihr Wert wird als Autokorrelationsfunktion des Prozesses bezeichnet: ist eine Funktion von , der Zeit Trennung der Zufallsvariablen und , und hängt nicht von $2$ $X(t_1)$ $X(t_1 + \tau)$ $X(t_2)$ $X(t_2 + \tau)$ $E[X(t_1)X(t_1 + \tau)] = E[X(t_2)X(t_2 + \tau)]$ $\tau$ $R_X(\tau) = E[X(t)X(t+\tau)]$ $\tau$ $X(t)$ $X(t+\tau)$ $t$ überhaupt. Man beachte auch, dass daher ist die Autokorrelationsfunktion eine gerade Funktion ihres Arguments.

E [X (t) X (t + τ)] = E [X (t + τ) X (t)] = E [X (t + τ) X (t + τ - τ)] = R X (- τ),

$E[X(t)X(t+\tau)] = E[X(t+\tau)X(t)] = E[X(t+\tau)X(t + \tau - \tau)] = R_X(-\tau),$

Ein stationärer Zufallsprozess endlicher Leistung zweiter Ordnung hat die Eigenschaften, dass

Sein mittleres ist eine Konstante $E[X(t)]$

Seine Autokorrelationsfunktion ist eine Funktion von , der zeitlichen Trennung der Zufallsvariablen und , und tut dies überhaupt nicht abhängig von . $R_X(\tau) = E[X(t)X(t+\tau)]$ $\tau$ $X(t)$ $X(t+\tau)$ $t$

Die Annahme der Stationarität vereinfacht die Beschreibung eines zufälligen Prozesses in gewissem Maße, aber für Ingenieure und Statistiker, die daran interessiert sind, Modelle aus experimentellen Daten zu erstellen, ist das Schätzen all dieser CDFs eine nicht triviale Aufgabe, insbesondere wenn es nur ein Segment eines Stichprobenpfads gibt (oder Realisierung) an dem gemessen werden kann. Zwei Messungen, die relativ einfach durchzuführen sind (weil der Ingenieur bereits die erforderlichen Instrumente auf seiner Werkbank hat (oder Programme in MATLAB / Python / Octave / C ++ in seiner Softwarebibliothek), sind die DC-Werte von und die Autokorrelationsfunktion $x(t)$ $\frac 1T\int_0^T x(t)\,\mathrm dt$ $x(t)$ $R_x(\tau) = \frac 1T\int_0^T x(t)x(t+\tau)\,\mathrm dt$ (oder seine Fourier-Transformation, das Leistungsspektrum von ). Die Verwendung dieser Messungen als Schätzungen des Mittelwerts und der Autokorrelationsfunktion eines Prozesses mit endlicher Potenz führt zu einem sehr nützlichen Modell, das wir als nächstes diskutieren. $x(t)$

Ein Zufallsprozess mit endlicher Potenz wird als WSS-Prozess ( Wide-Sense-Stationary ) (auch schwach stationärer Zufallsprozess, der glücklicherweise auch den gleichen Initialismus WSS hat) bezeichnet, wenn er einen konstanten Mittelwert und seine Autokorrelationsfunktion hängt nur von der Zeitdifferenz (oder ) ab. $R_X(t_1, t_2) = E[X(t_1)X(t_2)]$ $t_1 - t_2$ $t_2 - t_1$

Beachten Sie, dass die Definition nichts über die CDFs der Zufallsvariablen aussagt, aus denen der Prozess besteht. Es ist eine Beschränkung für die Momente erster und zweiter Ordnung der Zufallsvariablen. Natürlich kann eine finite-Leistungs zweite Ordnung stationär (oder -Auftrag stationär (für ) oder streng stationär) Zufallsprozess ist ein WSS - Prozess, aber die umgekehrte Notwendigkeit nicht wahr zu sein. $N^{\text{th}}$ $N>2$

Ein WSS-Prozess muss in keiner Reihenfolge stationär sein.

Man betrachte beispielsweise den Zufallsprozess wobei vier gleich wahrscheinliche Werte annimmt und . (Keine Angst: Die vier möglichen Abtastpfade dieses Zufallsprozesses sind nur die vier Signalverläufe eines QPSK-Signals.) Man beachte, dass jedes eine diskrete Zufallsvariable ist, die im Allgemeinen vier gleich wahrscheinliche Werte annimmt und . Es ist leicht zu erkennen, dass im Allgemeinen und $\{X(t)\colon X(t)= \cos (t + \Theta), -\infty < t < \infty\}$ $\Theta$ $0, \pi/2, \pi$ $3\pi/2$ $X(t)$ $\cos(t), \cos(t+\pi/2)=-\sin(t), \cos(t+\pi) = -\cos(t)$ $\cos(t+3\pi/2)=\sin(t)$ $X(t)$ $X(s)$ unterschiedliche Verteilungen haben, und so ist der Prozess nicht einmal stationär erster Ordnung. Andererseits ist für jedes während Kurz gesagt, das Verfahren hat einen Mittelwert von Null und seine Autokorrelationsfunktion hängt nur von der Zeitdifferenz , und so der Prozess ist weiter Sinn stationär. Es ist jedoch nicht stationär erster Ordnung und kann daher auch nicht zu höheren Ordnungen stationär sein.

E [X (t)] = 1 4 cos (t) + 1 4 (- sin (t)) + 1 4 (- cos (t)) + 1 4 sin (t) = 0

$E[X(t)] = \frac 14\cos(t)+ \frac 14(-\sin(t)) + \frac 14(-\cos(t))+\frac 14 \sin(t) = 0$

t $t$

E [X (t) X (s)] = 1 4 [cos (t) cos (s) + (- cos (t)) (- cos (s)) + sin (t) sin (s) + (- sin (t)) (- sin (s))] = 1 2 [cos (t) cos (s) + sin (t) sin (s)] = 1 2 cos (t - s) .

$\begin{align} E[X(t)X(s)]&= \left.\left.\frac 14\right[\cos(t)\cos(s) + (-\cos(t))(-\cos(s)) + \sin(t)\sin(s) + (-\sin(t))(-\sin(s))\right]\\ &= \left.\left.\frac 12\right[\cos(t)\cos(s) + \sin(t)\sin(s)\right]\\ &= \frac 12 \cos(t-s). \end{align}$

t−s $t-s$

Selbst für WSS-Prozesse, die stationäre (oder streng stationäre) Zufallsprozesse zweiter Ordnung sind, kann wenig über die spezifischen Formen der Verteilungen der Zufallsvariablen ausgesagt werden. Zusamenfassend,

Ein WSS-Prozess ist nicht unbedingt stationär (in beliebiger Reihenfolge), und der Mittelwert und die Autokorrelationsfunktion eines WSS-Prozesses reichen nicht aus , um eine vollständige statistische Beschreibung des Prozesses zu geben.

Schließlich wird angenommen , dass ein stochastischer Prozess wird angenommen , eine sein Gaußsche Verfahren (das mit jedem vernünftigen Maß an Vertrauen „ zu beweisen“ ist keine triviale Aufgabe). Dies bedeutet , dass für jedes , eine Gaußsche Zufallsvariable und für alle positiven ganzen Zahlen und Auswahl von Zeitpunkten , , , die Zufallsvariablen , , sind gemeinsam Gaußsche Zufallsvariablen. Nun ist eine gemeinsame Gaußsche Dichtefunktion vollständig $t$ $X(t)$ $n \geq 2$ $n$ $t_1$ $t_2$ $\ldots, t_n$ $N$ $X(t_1)$ $X(t_2)$ $\ldots, X(t_n)$ bestimmt durch die Mittelwerte, Varianzen und Kovarianzen der Zufallsvariablen, und in diesem Fall mit Kenntnis der mittleren Funktion (es muss keine Konstante sein, wie es für den weiten Sinn erforderlich ist -Stationarität) und die Autokorrelationsfunktion für alle (es muss nicht nur von abhängen, wie es für die Breitensinn-Stationarität erforderlich ist) reicht aus, um die Statistik des Prozesses vollständig zu ermitteln. $\mu_X(t) = E[X(t)]$ $R_X(t_1, t_2) = E[X(t_1)X(t_2)]$ $t_1, t_2$ $t_1-t_2$

Wenn der Gaußschen Prozess ist ein Prozess WSS, dann ist es auch ein streng stationärer Gaußschen Prozess. Zum Glück für Ingenieure und Signalprozessoren können viele physikalische Rauschprozesse gut als WSS-Gauß-Prozesse (und daher streng stationäre Prozesse) modelliert werden, sodass die experimentelle Beobachtung der Autokorrelationsfunktion leicht alle gemeinsamen Verteilungen liefert. Da Gaußsche Prozesse ihren Gaußschen Charakter behalten, wenn sie lineare Systeme durchlaufen, und die Ausgabe-Autokorrelationsfunktion mit der Eingabe-Autokorrelationsfunktion als

R y = h * h ~ * R X

$R_y = h*\tilde{h}*R_X$ Damit die Ausgabestatistiken auch leicht ermittelt werden können, sind WSS-Prozesse im Allgemeinen und WSS-Gauß-Prozesse im Besonderen für technische Anwendungen von großer Bedeutung.

— Dilip Sarwate
quelle

Könnten Sie bitte "White Noise" in diesem Sinne kommentieren? Per Definition ist die Autokorrelation bei die Varianz der Zufallsvariablen. Bedeutet dies, dass AWGN (Additives Weißes Gaußsches Rauschen) eine unendliche Varianz aufweist? Ich frage es, weil die Leute normalerweise schreiben , ist das falsch? Soll es geschrieben werden ? Vielen Dank.

τ=0 $\tau = 0$

n(t) N(0,N0/2) $n(t) ~ N(0, {N}_{0} / 2)$

n(t) N(0,δ(0)N0/2) $n(t) ~ N(0, \delta(0) {N}_{0} / 2)$

— Royi

@Drazick Bitte stellen Sie eine separate Frage.

— Dilip Sarwate

Dies ist ein fantastischer Minikurs zur Definition stationärer Prozesse. So etwas habe ich noch nie gesehen - methodisch und übersichtlich angelegt. Community Wiki?

— Abalter

@ Dilip Sarwate Entschuldigen Sie meine Unwissenheit. Im Beispiel. Warum ist E [X (t)] = 0 für alle t? Haben Sie Ergodizität angenommen? Wie haben Sie die Wahrscheinlichkeitsdichtefunktion von X (t) aus der Wahrscheinlichkeitsdichtefunktion von Theta abgeleitet, um den erwarteten Wert zu berechnen? E [X (t) X (s)] = E [cos (t + Theta) · cos (s + Theta)] richtig? Welche Schritte haben Sie unternommen, um diesen Ausdruck zu vereinfachen und zu dem zu gelangen, was Sie geschrieben haben? Vielen Dank

— VMMF

@VMMF Es wird KEINE Ergodizität verwendet. ist eine diskrete Zufallsvariable, weil eine diskrete Zufallsvariable ist und mit gleicher Wahrscheinlichkeit Werte und annimmt . Ergo ist . nimmt Werte an , , und mit gleicher Wahrscheinlichkeit . Daher,

X(t)=cos(t+Θ) $X(t)=\cos(t+\Theta)$

Θ $\Theta$

±cos(t) $\pm\cos(t)$

±sin(t) $\pm\sin(t)$

14 $\frac 14$

E[X(t)]=0 $E[X(t)]=0$

X(t)X(s) $X(t)X(s)$

cos(t)cos(s) $\cos(t)\cos(s)$

(−cos(t))(−cos(s))=cos(t)cos(s) $(-\cos(t))(-\cos(s))=\cos(t)\cos(s)$

sin(t)sin(s) $\sin(t)\sin(s)$

(−sin(t))(−sin(s))=sin(t)sin(s) $(-\sin(t))(-\sin(s))=\sin(t)\sin(s)$

14 $\frac 14$

E[X(t)(X(s)]=12(cos(t)cos(s)+sin(t)sin(s))=12cos(t−s) $E[X(t)(X(s)]=\frac 12\big(\cos(t)\cos(s)+\sin(t)\sin(s)\big) = \frac 12\cos(t-s)$ . Daher

— Dilip Sarwate