Wie hat die Maximum-Likelihood-Schätzung eine ungefähre Normalverteilung?

Ich habe über MLE als Methode zur Erzeugung einer angepassten Verteilung gelesen.

Ich bin auf eine Aussage gestoßen, die besagt, dass Schätzungen der maximalen Wahrscheinlichkeit "ungefähre Normalverteilungen haben".

Bedeutet dies, dass die Modelle, die ich erhalte, normal verteilt werden, wenn ich MLE wiederholt auf meine Daten und die Verteilungsfamilie anwende, an die ich mich anpassen möchte? Wie genau hat eine Folge von Verteilungen eine Verteilung?

normal-distribution estimation maximum-likelihood

— Matt O'Brien
quelle

Wenn Sie MLE wiederholt auf Ihre Daten anwenden, erhalten Sie - abgesehen von Rechenfehlern - jedes Mal genau die gleichen Ergebnisse. Die Art und Weise, darüber nachzudenken, besteht darin, darüber nachzudenken, wie Ihre Daten anders ausgefallen sein könnten. Wenn die Daten variieren, variieren auch die darauf basierenden ML-Schätzungen, und diese resultierende Variation der Schätzungen ist von großem Interesse.

— whuber

ahh ja ... ich habe nicht über die Stichprobengröße nachgedacht ...

— Matt O'Brien

Schauen Sie sich die Diskussion hier an: andrewgelman.com/2012/07/05/…

— kjetil b halvorsen

Schätzer sind Statistiken, und Statistiken haben Stichprobenverteilungen (das heißt, wir sprechen über die Situation, in der Sie weiterhin Stichproben derselben Größe zeichnen und die Verteilung der Schätzungen betrachten, die Sie erhalten, eine für jede Stichprobe).

Das Zitat bezieht sich auf die Verteilung von MLEs, wenn sich die Stichprobengröße der Unendlichkeit nähert.

Betrachten wir also ein explizites Beispiel, den Parameter einer Exponentialverteilung (unter Verwendung der Skalenparametrisierung, nicht der Ratenparametrisierung).

f (x;; μ) = \frac{_{1}}{^{μ}} e^{- - \frac{x}{μ}};; x > 0, μ > 0

$f(x;\mu) = \frac{_1}{^\mu} e^{-\frac{x}{\mu}};\quad x>0,\quad \mu>0$

$\hat \mu = \bar x$ $n$ $\bar X$

Geben Sie hier die Bildbeschreibung ein

Wenn wir wiederholte Proben der Größe 1 nehmen, ist die resultierende Dichte des Probenmittels im Diagramm oben links angegeben. Wenn wir wiederholte Proben jeder Größe 2 nehmen, ist die resultierende Dichte des Probenmittels im Diagramm oben rechts angegeben. Zum Zeitpunkt n = 25 unten rechts sieht die Verteilung der Stichprobenmittel bereits viel normaler aus.

$1/\bar X$ $\lambda=1/\mu$

Nun die Formparameter einer Verteilungs Gamma betrachtet mit bekannter ~~Skala~~ Mittelwert (hier mit einer mittleren & Form Parametrisierung statt Skala & Form).

Der Schätzer ist in diesem Fall nicht geschlossen, und die CLT gilt nicht für ihn (wiederum zumindest nicht direkt *), aber dennoch ist der Argmax der Wahrscheinlichkeitsfunktion MLE. Wenn Sie immer größere Stichproben entnehmen, wird die Stichprobenverteilung der Formparameterschätzung normaler.

Geben Sie hier die Bildbeschreibung ein

$n$

- -

$\hat{\theta}$ $\hat{\theta}$

Beachten Sie auch, dass der Effekt, den wir sehen, wenn wir kleine Stichproben betrachten (zumindest im Vergleich zur Unendlichkeit klein) - das regelmäßige Fortschreiten zur Normalität in einer Vielzahl von Situationen, wie wir durch die obigen Darstellungen motiviert sehen - darauf hindeutet, dass wenn Wir haben das PDF einer standardisierten Statistik betrachtet. Möglicherweise gibt es eine Version einer Berry-Esseen-Ungleichung, die auf einem ähnlichen Ansatz basiert wie die Verwendung eines CLT-Arguments mit MLEs, das Grenzen dafür festlegt, wie langsam sich die Stichprobenverteilung der Normalität annähern kann. Ich habe so etwas noch nicht gesehen, aber es würde mich nicht überraschen, wenn ich feststellen würde, dass es getan wurde.

— Glen_b - Monica neu starten
quelle