Exponentielle Familie: Beobachtete vs. erwartete ausreichende Statistik

Meine Frage ergibt sich aus dem Lesen von Minkas "Schätzung einer Dirichlet-Verteilung" , in dem Folgendes ohne Beweis im Zusammenhang mit der Ableitung eines Maximum-Likelihood-Schätzers für eine Dirichlet-Verteilung auf der Grundlage von Beobachtungen von Zufallsvektoren angegeben wird:

Wie immer bei der Exponentialfamilie sind bei einem Gradienten von Null die erwarteten ausreichenden Statistiken gleich den beobachteten ausreichenden Statistiken.

Ich habe weder eine Maximum-Likelihood-Schätzung in der auf diese Weise dargestellten Exponentialfamilie gesehen, noch habe ich bei meiner Suche geeignete Erklärungen gefunden. Kann jemand einen Einblick in die Beziehung zwischen beobachteten und erwarteten ausreichenden Statistiken geben und vielleicht helfen, die Schätzung der maximalen Wahrscheinlichkeit als Minimierung ihrer Differenz zu verstehen?

— Ben Bray
quelle

Dies ist eine übliche Behauptung über die exponentielle Familie, aber meiner Meinung nach wird sie meistens so formuliert, dass der weniger erfahrene Leser verwirrt wird. Da es zum Nennwert genommen werden könnte, könnte es so interpretiert werden, dass "wenn unsere Zufallsvariable einer Verteilung in der Exponentialfamilie folgt, wenn wir eine Stichprobe nehmen und sie in die ausreichende Statistik einfügen, erhalten wir den wahren erwarteten Wert der Statistik ". Wenn es nur so wäre ... Darüber hinaus wird die Größe der Stichprobe nicht berücksichtigt, was zu weiterer Verwirrung führen kann.

Die Exponentialdichtefunktion ist

\begin{matrix} (1) & f_{X} (x) = h (x) e^{η (θ) T (x)} e^{- A (θ)} \end{matrix}

$f_X(x) = h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)} \tag{1}$

wobei die ausreichende Statistik ist. $T(x)$

Da dies eine Dichte ist, muss sie sich zur Einheit integrieren, also ( ist die Unterstützung von ) $S_x$ $X$

\begin{matrix} (2) & \int_{S_{x}} h (x) e^{η (θ) T (x)} e^{- A (θ)} d x = 1 \end{matrix}

$\int_{S_x} h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)}dx =1 \tag{2}$

Gl. gilt für alle damit wir beide Seiten in Bezug darauf unterscheiden können: $(2)$ $\theta$

\begin{matrix} (3) & \frac{\partial}{\partial θ} \int_{S_{x}} h (x) e^{η (θ) T (x)} e^{- A (θ)} d x = \frac{\partial (1)}{\partial θ} = 0 \end{matrix}

$\frac {\partial}{\partial \theta} \int_{S_x} h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)}dx =\frac {\partial (1)}{\partial \theta} =0 \tag{3}$

Wenn wir die Reihenfolge der Differenzierung und Integration vertauschen, erhalten wir

\begin{matrix} (4) & \int_{S_{x}} \frac{\partial}{\partial θ} (h (x) e^{η (θ) T (x)} e^{- A (θ)}) d x = 0 \end{matrix}

$\int_{S_x} \frac {\partial}{\partial \theta} \left(h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)}\right)dx =0 \tag{4}$

Die Differenzierung durchführen, die wir haben

\begin{matrix} (5) & \frac{\partial}{\partial θ} (h (x) e^{η (θ) T (x)} e^{- A (θ)}) = f_{X} (x) [T (x) η^{'} (θ) - A^{'} (θ)] \end{matrix}

$\frac {\partial}{\partial \theta} \left(h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)}\right) = f_X(x)\big[T(x)\eta'(\theta) - A'(\theta)\big] \tag{5}$

Durch Einfügen von in wir $(5)$ $(4)$

\int_{S_{x}} f_{X} (x) [T (x) η^{'} (θ) - A^{'} (θ)] d x = 0

$\int_{S_x} f_X(x)\big[T(x)\eta'(\theta) - A'(\theta)\big]dx =0$

\begin{matrix} (6) & \Rightarrow η^{'} (θ) E [T (X)] - A^{'} (θ) = 0 \Rightarrow E [T (X)] = \frac{A^{'} (θ)}{η^{'} (θ)} \end{matrix}

$\Rightarrow \eta'(\theta)E[T(X)] - A'(\theta) = 0 \Rightarrow E[T(X)] = \frac {A'(\theta)}{\eta'(\theta)} \tag{6}$

Nun fragen wir: Die linke Seite von ist eine reelle Zahl. Die rechte Seite muss also auch eine reelle Zahl sein und keine Funktion . Daher muss es bei einem bestimmten ausgewertet werden , und es sollte das "wahre" , sonst hätten wir auf der linken Seite nicht den wahren erwarteten Wert von . Um dies zu betonen, bezeichnen wir den wahren Wert mit und schreiben als $(6)$ $\theta$ $\theta$ $T(X)$ $\theta_0$ $(6)$

\begin{matrix} (6a) & E_{θ_{0}} [T (X)] = \frac{A^{'} (θ)}{η^{'} (θ)} |_{θ = θ_{0}} \end{matrix}

$E_{\theta_0}[T(X)] = \frac {A'(\theta)}{\eta'(\theta)}\Big |_{\theta =\theta_0} \tag{6a}$

Wir wenden uns nun der Maximum-Likelihood-Schätzung zu . Die Log-Wahrscheinlichkeit für eine Stichprobe der Größe beträgt $n$

L (θ ∣ x) = \sum_{i = 1}^{n} \ln h (x_{i}) + η (θ) \sum_{i = 1}^{n} T (x_{i}) - n A (θ)

$L(\theta \mid \mathbf x) = \sum_{i=1}^n\ln h(x_i) +\eta(\theta)\sum_{i=1}^nT(x_i) -nA(\theta)$

Wenn wir seine Ableitung in Bezug auf gleich , erhalten wir die MLE $\theta$ $0$

\begin{matrix} (7) & \hat{θ} (x) : \frac{1}{n} \sum_{i = 1}^{n} T (x_{i}) = \frac{A^{'} (θ)}{η^{'} (θ)} |_{θ = \hat{θ} (x)} \end{matrix}

$\hat \theta(x) : \frac 1n\sum_{i=1}^nT(x_i) = \frac {A'(\theta)}{\eta'(\theta)}\Big |_{\theta =\hat \theta(x)} \tag {7}$

Vergleiche mit . Die rechten Seiten sind nicht gleich, da wir nicht argumentieren können, dass der MLE-Schätzer den wahren Wert erreicht hat. Also auch nicht die linken Seiten. Aber denken Sie daran, dass Gl. gilt für alle und so auch für . Die Schritte in Gl. kann in Bezug auf und so können wir Gl. für : $(7)$ $(6a)$ $2$ $\theta$ $\hat \theta$ $3,4,5,6$ $\hat \theta$ $6a$ $\hat \theta$

\begin{matrix} (6b) & E_{\hat{θ} (x)} [T (X)] = \frac{A^{'} (θ)}{η^{'} (θ)} |_{θ = \hat{θ} (x)} \end{matrix}

$E_{\hat\theta(x)}[T(X)] = \frac {A'(\theta)}{\eta'(\theta)}\Big |_{\theta =\hat\theta(x)} \tag{6b}$

was uns in Kombination mit zu der gültigen Beziehung führt $(7)$

E_{\hat{θ} (x)} [T (X)] = \frac{1}{n} \sum_{i = 1}^{n} T (x_{i})

$E_{\hat\theta(x)}[T(X)] = \frac 1n\sum_{i=1}^nT(x_i)$

Das ist es, was die untersuchte Behauptung wirklich sagt: der erwartete Wert der ausreichenden Statistik unter dem MLE für die unbekannten Parameter (mit anderen Worten, der Wert des ersten rohen Moments der Verteilung, den wir erhalten, wenn wir anstelle von ) entspricht (und wird nicht nur durch) dem Durchschnitt der aus der Stichprobe berechneten ausreichenden Statistik angenähert . $\hat \theta(x)$ $\theta$ $\mathbf x$

Darüber hinaus können wir nur dann genau sagen, wenn die Stichprobengröße ist: "Der erwartete Wert der ausreichenden Statistik unter dem MLE entspricht der ausreichenden Statistik". $n=1$

— Alecos Papadopoulos
quelle

Könnten Sie bitte näher erläutern, warum der Übergang von 6a zu 6b gültig ist?

— Theoden

@Theoden Zwischen Gl. und Ich schreibe "Gleichung gilt für alle " - und daher auch für . Alle Schritte in Gl. kann in Bezug auf . Ich habe diese Bemerkung im Text zur Klarheit wiederholt.

(2)

$(2)$

(3)

$(3)$

(2)

$(2)$

θ

$\theta$

\hat{θ}

$\hat \theta$

3, 4, 5, 6

$3,4,5,6$

\hat{θ}

$\hat \theta$

— Alecos Papadopoulos

@AlecosPapadopoulos Ihr Beweis unten scheint darauf hinzudeuten, dass das, was Sie zu Beginn sagen - "Wenn unsere Zufallsvariable einer Verteilung in der Exponentialfamilie folgt, erhalten wir den wahren erwarteten Wert, wenn wir eine Stichprobe nehmen und sie in die ausreichende Statistik einfügen der Statistik "ist wahr. Ich meine, ich kann das einfach immer für (2) tun, indem ich es durch den beobachteten ausreichenden Status ersetze und das Ergebnis erhalte. Was fehlt mir hier? Ich verstehe es nicht ganz.

— user10024395

@ user136266 Der wahre erwartete Wert der Statistik ist , und um berechnet zu werden, muss man den Parameter kennen, der vom Design her unbekannt ist . Was wir also tatsächlich berechnen können, ist was der erwartete Wert der Statistik unter der Annahme ist, dass unsere Punktschätzung den wahren Wert erreicht hat .

6 a

$6a$

θ

$\theta$

6 b

$6b$

— Alecos Papadopoulos

Können Sie erklären, warum wir die Reihenfolge der Differenzierung und Integration in Gl. (3) bitte?

— Markus777