Schätzung der maximalen Wahrscheinlichkeit bei Vorhandensein von farbigem Rauschen

Ich versuche, die Systemidentifikation bei Vorhandensein von Messrauschen zu testen. (1) Ein weißes Gaußsches Rauschen. (2) Farbiges Rauschen - rosa, violett. Wenn wir Parameter schätzen, tun wir dies in Gegenwart von iid, Null bedeutet unkorreliertes Rauschen.

Q1: Ich würde gerne wissen, ob das farbige Rauschen korreliert ist oder nicht. Ich denke, sie haben eine unterschiedliche Verteilung, aber ich konnte keine Informationen finden, ob die Stichproben korreliert sind oder nicht.

F2: Bei der Schätzung nehmen wir an, dass Rauschen additives weißes Gaußsches Rauschen ist, das nicht korreliert ist. Was passiert, wenn das Rauschen nicht gaußsch ist? Wie schätzen wir dann Theta? Zum Beispiel: $x = s(\theta) + Colored noise$ wo wir versuchen zu schätzen $\theta$ . Wird die Leistung, dh MSE, mit unterschiedlichen Farbstufen und nicht farbigem Rauschen variieren?

noise estimation maximum-likelihood-estimation

— Ria George
quelle

Bei "farbigem" Rauschen geht es um das Leistungsspektrum, nicht um die Verteilung oder das PDF. Ein bedingtes PDF hat etwas mit dem Spektrum zu tun, aber nicht um das bedingungslose PDF

— Robert Bristow-Johnson

@ robertbristow-johnson: Wird das PDF aus der Antwort unten immer als Gaußsch für farbiges Rauschen angesehen?

— Ria George

nicht immer, aber normalerweise. Ein einfaches Gegenbeispiel ist das dreieckige Hochpass-PDF-Dithering.

y [n]

$y[n]$ gebildet aus einheitlichem pdf "weißem" Rauschen

x [n]

$x[n]$ (was kommt von einer guten rand()Funktion) als so:

y [n] = x [n] - x [n - 1]

$y[n] = x[n] - x[n-1]$ Das ist farbiges Rauschen (weniger Spektrum bei niedrigen Frequenzen), aber es ist kein Gaußsches PDF, es ist ein dreieckiges PDF

— Robert Bristow-Johnson,

Proben von farbigem Rauschen (zu unterschiedlichen Zeiten genommen) im allgemeinen sind Zufallsvariablen korrelieren , da die Autokorrelationsfunktion des Rauschprozesses keine Delta - Funktion ist , wie es im Fall von weißem Rauschen ist. Wenn wir also einen Prozess mit dem Mittelwert Null annehmen (Rauschen wird im Allgemeinen als unabhängig von seiner Farbe angenommen), dann ist die Kovarianz zweier Signale zeitlich getrennt durch $\tau$ Sekunden ist $R(\tau)$ wo $R(t) = \mathcal F^{-1}(S(f)$ ist die Autokorrelationsfunktion des Prozesses (inverse Fourier-Transformation der spektralen Leistungsdichte). Beachten Sie, dass dies möglich ist für $R(t)$ für einige Werte von Null sein $t$ (z.B $R(t) = \operatorname{sinc}(t)$ ist eine gültige Autokorrelationsfunktion), kann jedoch nicht für alle ungleich Null Null sein $t$ .

In Bezug auf die Dichtefunktion einer Probe ist die Probe, wenn der Prozess Gauß'sch ist, Gauß'sch, selbst wenn der Prozess vor der Probenahme mit einem linearen Filter gefiltert wurde . Wenn der Prozess jedoch nicht Gaußsch ist (es ist beispielsweise LaPlacian), kann, während jede Probe LaPlacian ist, das Gleiche nicht allgemein für Proben des Prozesses nach Filterung jeglicher Art gesagt werden. Mit anderen Worten, die Gauß-Beziehung überlebt die lineare Filterung, LaPlacism im Allgemeinen nicht.

Wie funktioniert die Maximum-Likelihood-Schätzung, wenn Stichproben Rauschen korrelieren? Betrachten Sie den Fall, in dem wir den unbekannten Mittelwert von a schätzen möchten $\mathcal N(\mu, 1)$ Zufallsvariable, und wir haben zwei Beobachtungen $x$ und $y$ . Im Standardfall unabhängiger Beobachtungen ist die Wahrscheinlichkeitsfunktion

L (μ) = \frac{1}{2 π} \exp (- \frac{1}{2} [(x - μ)^{2} + (y - μ)^{2}]) .

$L(\mu) = \frac{1}{2\pi}\exp\left(-\frac{1}{2}\left[(x-\mu)^2+(y-\mu)^2\right]\right).$ Der _Maximum-Likelihood-Schätzer für

μ

$\mu$ ist die Nummer

\hat{μ}

$\hat{\mu}$ das maximiert

L (μ)

$L(\mu)$ , was sich als Nummer herausstellt

\hat{μ}

$\hat{\mu}$ das minimiert

(x - μ)^{2} + (y - μ)^{2}

$(x-\mu)^2+(y-\mu)^2$ . Dies ist ein Quadrat in

μ

$\mu$ und die Maximum-Likelihood-Schätzung stellt sich heraus

\hat{μ} = \frac{x + y}{2}

$\hat{\mu}=\frac{x+y}{2}$ . Wenn die Beobachtungen mit dem Korrelationskoeffizienten korreliert sind

ρ

$\rho$ , dann

L (μ) = \frac{1}{2 π \sqrt{1 - ρ^{2}}} \exp (- \frac{1}{2 \sqrt{1 - ρ^{2}}} [(x - μ)^{2} - 2 ρ (x - μ) (y - μ) + (y - μ)^{2}]) .

$L(\mu) = \frac{1}{2\pi\sqrt{1-\rho^2}} \exp\left(-\frac{1}{2\sqrt{1-\rho^2}} \left[(x-\mu)^2-2\rho(x-\mu)(y-\mu)+(y-\mu)^2\right]\right).$ Wieder müssen wir das finden

\hat{μ}

$\hat{\mu}$ wo

(x - μ)^{2} - 2 ρ (x - μ) (y - μ) + (y - μ)^{2}

$(x-\mu)^2-2\rho(x-\mu)(y-\mu)+(y-\mu)^2$ hat ein Minimum. Wir haben noch ein Quadrat in

μ

$\mu$ aber jetzt bekommen wir Begriffe wie

x y

$xy$ in den Koeffizienten. Was

\hat{μ}

$\hat{\mu}$ arbeitet, um zu sein, bleibt Ihnen überlassen, um zu trainieren.

Und wenn ja $n$ Beobachtungen wo $n > 2$ ? All dies gilt weiterhin. Für unabhängiges identisch verteiltes Gaußsches Rauschen in den Proben ist der Probenmittelwert $n^{-1}\sum_i x_i$ ist die Maximum-Likelihood-Schätzung von $\mu$ Bei korrelierten Gaußschen Zufallsvariablen treten jedoch sehr unordentliche Minimierungsprobleme auf, da das Quadrat, das wir zu minimieren versuchen, von der Umkehrung der Kovarianzmatrix abhängt und das Ergebnis eine nichtlineare Funktion der Daten anstelle einer einfachen, einfach zu erfassenden Funktion ist. Erinnern Sie sich an das Ergebnis wie den Stichprobenmittelwert.

Was ist, wenn das Rauschen nicht Gaußsch ist? Es gelten dieselben Prinzipien - richten Sie die Wahrscheinlichkeitsfunktion ein und finden Sie heraus, wo sie ihren Maximalwert erreicht -, aber die Berechnungen unterscheiden sich erheblich, je nachdem, was Sie annehmen oder wissen, ist die gemeinsame Dichte der Beobachtungen.

— Dilip Sarwate
quelle