Wie kann man verstehen, dass MLE of Varianz in einer Gaußschen Verteilung voreingenommen ist?

PRML-Darstellung, wie Verzerrungen bei der Verwendung der maximalen Wahrscheinlichkeit zur Bestimmung der Varianz eines Gaußschen entstehen

Ich lese PRML und verstehe das Bild nicht. Könnten Sie bitte einige Hinweise geben, um das Bild zu verstehen und warum die MLE der Varianz in einer Gaußschen Verteilung voreingenommen ist?

Formel 1,55: Formel 1,56

μ_{M L E} = \frac{1}{N} \sum_{n = 1}^{N} x_{n}

$\mu_{MLE}=\frac{1}{N} \sum_{n=1}^N x_n$

σ_{M L E}^{2} = \frac{1}{N} \sum_{n = 1}^{N} (x_{n} - μ_{M L E})^{2}

$\sigma_{MLE}^2=\frac{1}{N}\sum_{n=1}^{N}(x_n-\mu_{MLE})^2$

machine-learning self-study maximum-likelihood

— Ningyuwhut
quelle

Bitte fügen Sie das Selbststudien-Tag hinzu.

— StatsStudent

Warum ist für jedes Diagramm nur ein blauer Datenpunkt für mich sichtbar? Übrigens, während ich versuchte, den Überlauf von zwei Indizes in diesem Beitrag zu bearbeiten, benötigt das System "mindestens 6 Zeichen" ... peinlich.

— Zhanxiong

Was möchten Sie wirklich verstehen, das Bild oder warum ist die MLE-Varianzschätzung voreingenommen? Ersteres ist sehr verwirrend, aber ich kann Letzteres erklären.

— TrynnaDoStat

Ja, ich habe in einer neuen Version festgestellt, dass jedes Diagramm zwei blaue Daten enthält. Mein PDF ist alt

— ningyuwhut

@ TrynnaDoStat Entschuldigung für meine Frage ist nicht klar. Ich möchte wissen, warum die MLE-Varianzschätzung voreingenommen ist. und wie dies in dieser Grafik ausgedrückt wird

— ningyuwhut

Intuition

$E[\bar{x}^2]$ $\mu^2$ $E[\bar{x}^2]$ $\mu^2$ $\mu$ $\bar{x}$ $\mu$ durch eine negative Zahl) wird ebenfalls quadriert und wird somit positiv. Somit wird es nicht mehr abgebrochen und es besteht eine leichte Tendenz zur Überschätzung.

$x^2$ $\mu^2$ $E[x^2]$

Lassen Sie uns beweisen, dass der MLE der Varianz für eine iid-Stichprobe voreingenommen ist. Dann werden wir unsere Intuition analytisch überprüfen.

Beweis

$\hat{\sigma}^2 = \frac{1}{N}\sum_{n = 1}^N (x_n - \bar{x})^2$

$E[\hat{\sigma}^2] \neq \sigma^2$

E [{\hat{σ}}^{2}] = E [\frac{1}{N} \sum_{n = 1}^{N} (x_{n} - \bar{x})^{2}] = \frac{1}{N} E [\sum_{n = 1}^{N} (x_{n}^{2} - 2 x_{n} \bar{x} + {\bar{x}}^{2})] = \frac{1}{N} E [\sum_{n = 1}^{N} x_{n}^{2} - \sum_{n = 1}^{N} 2 x_{n} \bar{x} + \sum_{n = 1}^{N} {\bar{x}}^{2}]

$E[\hat{\sigma}^2] = E[\frac{1}{N}\sum_{n = 1}^N (x_n - \bar{x})^2] = \frac{1}{N}E[\sum_{n = 1}^N (x_n^2 - 2x_n\bar{x} + \bar{x}^2)] = \frac{1}{N}E[\sum_{n = 1}^N x_n^2 - \sum_{n = 1}^N 2x_n\bar{x} + \sum_{n = 1}^N \bar{x}^2]$

$\sum_{n = 1}^N x_n = N\bar{x}$ $\sum_{n = 1}^N \bar{x}^2 = N\bar{x}^2$

\frac{1}{N} E [\sum_{n = 1}^{N} x_{n}^{2} - \sum_{n = 1}^{N} 2 x_{n} \bar{x} + \sum_{n = 1}^{N} {\bar{x}}^{2}] = \frac{1}{N} E [\sum_{n = 1}^{N} x_{n}^{2} - 2 N {\bar{x}}^{2} + N {\bar{x}}^{2}] = \frac{1}{N} E [\sum_{n = 1}^{N} x_{n}^{2} - N {\bar{x}}^{2}] = \frac{1}{N} E [\sum_{n = 1}^{N} x_{n}^{2}] - E [{\bar{x}}^{2}] = \frac{1}{N} \sum_{n = 1}^{N} E [x_{n}^{2}] - E [{\bar{x}}^{2}] = E [x_{n}^{2}] - E [{\bar{x}}^{2}]

$\frac{1}{N}E[\sum_{n = 1}^N x_n^2 - \sum_{n = 1}^N 2x_n\bar{x} + \sum_{n = 1}^N \bar{x}^2] = \frac{1}{N}E[\sum_{n = 1}^N x_n^2 - 2N\bar{x}^2 + N\bar{x}^2]=\frac{1}{N}E[\sum_{n = 1}^N x_n^2 - N\bar{x}^2] = \frac{1}{N}E[\sum_{n = 1}^N x_n^2] - E[\bar{x}^2] = \frac{1}{N}\sum_{n = 1}^N E[x_n^2] - E[\bar{x}^2] \\= E[x_n^2] - E[\bar{x}^2]$

$E[x_n^2]$ $n$

$\sigma^2_x = E[x^2] - E[x]^2$

E [x_{n}^{2}] - E [{\bar{x}}^{2}] = σ_{x}^{2} + E [x_{n}]^{2} - σ_{\bar{x}}^{2} - E [x_{n}]^{2} = σ_{x}^{2} - σ_{\bar{x}}^{2} = σ_{x}^{2} - V a r (\bar{x}) = σ_{x}^{2} - V a r (\frac{1}{N} \sum_{n = 1}^{N} x_{n}) = σ_{x}^{2} - (\frac{1}{N})^{2} V a r (\sum_{n = 1}^{N} x_{n})

$E[x_n^2] - E[\bar{x}^2] = \sigma^2_x + E[x_n]^2 - \sigma^2_\bar{x} - E[x_n]^2 = \sigma^2_x - \sigma^2_\bar{x} = \sigma^2_x - Var(\bar{x}) = \sigma^2_x - Var(\frac{1}{N}\sum_{n = 1}^Nx_n) = \sigma^2_x - \bigg(\frac{1}{N}\bigg)^2Var(\sum_{n = 1}^Nx_n)$

Beachten Sie, dass wir die Konstante entsprechend quadriert haben $\frac{1}{N}$ $Var()$

σ_{x}^{2} - (\frac{1}{N})^{2} V a r (\sum_{n = 1}^{N} x_{n}) = σ_{x}^{2} - (\frac{1}{N})^{2} N σ_{x}^{2} = σ_{x}^{2} - \frac{1}{N} σ_{x}^{2} = \frac{N - 1}{N} σ_{x}^{2}

$\sigma^2_x - \bigg(\frac{1}{N}\bigg)^2Var(\sum_{n = 1}^Nx_n) = \sigma^2_x - \bigg(\frac{1}{N}\bigg)^2N \sigma^2_x = \sigma^2_x - \frac{1}{N}\sigma^2_x = \frac{N-1}{N}\sigma^2_x$

$\sigma_x^2$

Überprüfen Sie analytisch unsere Intuition

$\mu$ $\mu$ $\mu^2$ $E[\bar{x}^2]$ $\hat{\sigma}^2$

Lassen $\hat{\sigma}_\mu^2 = \frac{1}{N}\sum_{n = 1}^N (x_n - \mu)^2$

$E[x_n^2] - E[\bar{x}^2]$ $\bar{x}$ $\mu$

E [x_{n}^{2}] - E [μ^{2}] = E [x_{n}^{2}] - μ^{2} = σ_{x}^{2} + E [x_{n}]^{2} - μ^{2} = σ_{x}^{2}

$E[x_n^2] - E[\mu^2] = E[x_n^2] - \mu^2 = \sigma^2_x + E[x_n]^2 - \mu^2= \sigma^2_x$

das ist unvoreingenommen!

— TrynnaDoStat
quelle

X

$X$

Danke für Ihre Erklärung. Ich brauche etwas Zeit, um es zu verstehen. Außerdem habe ich einen Fehler in den Gleichungen gefunden. Können Sie ihn überprüfen? Vielen Dank!

— Ningyuwhut

X

$X$ eine Gaußsche Verteilung hat.". Wir würden nicht für jede Verteilung über eine ML-Varianzlösung sprechen, beispielsweise eine Binomialverteilung. Wir gehen also implizit davon aus, dass die X-Verteilung eine Varianz als einen der Parameter hat.

— KGhatak