Wie mache ich eine Schätzung, wenn nur zusammenfassende Statistiken verfügbar sind?

Dies ist zum Teil durch die folgende Frage und die darauf folgende Diskussion motiviert .

Angenommen, die iid-Probe wird beobachtet, . Das Ziel ist es, zu schätzen . Aber original probe ist nicht verfügbar. Was wir stattdessen haben, sind einige Statistiken der Stichprobe . Angenommen, ist fest. Wie schätzen wir ? Was wäre in diesem Fall ein Maximum-Likelihood-Schätzer?θ T 1 , . . . , T k k $X_i\sim F(x,\theta)$$\theta$$T_1,...,T_k$$k$$\theta$

In diesem Fall können Sie eine ABC- Näherung der Wahrscheinlichkeit (und folglich der MLE ) unter der folgenden Annahme / Einschränkung berücksichtigen :

Annahme. Die ursprüngliche Stichprobengröße ist bekannt.$n$

Dies ist keine wilde Annahme, da die Qualität der häufig auftretenden Schätzer in Bezug auf die Konvergenz von der Stichprobengröße abhängt. Daher kann man keine willkürlich guten Schätzer erhalten, ohne die ursprüngliche Stichprobengröße zu kennen.

Die Idee ist es, eine Probe aus der posterioren Verteilung zu erzeugen , und, um eine Annäherung der MLE zu erzeugen , können Sie eine Bedeutung Abtasttechnik wie in Anwendungs [1] oder einen einheitlichen vor auf prüfen , θ mit Unterstützung auf einem geeignetes eingestellt wie in [2] .$\theta$$\theta$

Ich werde die Methode in [2] beschreiben. Lassen Sie mich zunächst den ABC-Sampler beschreiben.

ABC Sampler

Sei das Modell, das die Stichprobe erzeugt, wobei θ ∈ Θ ein (zu schätzender) Parameter ist, T eine Statistik (eine Funktion der Stichprobe) und T 0 die beobachtete Statistik im ABC-Jargon Dies nennt man eine Summenstatistik , ρ sei eine Metrik, π ( θ ) eine vorherige Verteilung auf θ und ϵ > 0 eine Toleranz. Dann kann der ABC-Zurückweisungsabtaster wie folgt implementiert werden.$f(\cdot\vert\theta)$$\theta \in \Theta$$T$$T_0$$\rho$$\pi(\theta)$$\theta$$\epsilon>0$

1. Probe aus π ( ⋅ ) .$\theta^*$$\pi(\cdot)$
2. Generieren einer Probe der Größe N aus dem Modell f ( ⋅ | & thgr; * ) .$\bf{x}$$n$$f(\cdot\vert\theta^*)$
3. Compute .$T^*=T({\bf x})$
4. Wenn , akzeptiere θ ∗ als eine Simulation vom hinteren Ende von θ .$\rho(T^*,T_0)<\epsilon$$\theta^*$$\theta$

Dieser Algorithmus erzeugt eine ungefähre Stichprobe aus der posterioren Verteilung von bei T ( x ) = T 0 . Daher ist das beste Szenario, wenn die Statistik T ausreichend ist, aber andere Statistiken verwendet werden können. Für eine detailliertere Beschreibung dieser sehen dieses Papier .$\theta$$T({\bf x})=T_0$$T$

Wenn man nun in einem allgemeinen Rahmen eine Uniformvorstufe verwendet, die die MLE in ihrer Unterstützung enthält, stimmt das Maximum a posteriori (MAP) mit dem Maximum Likelihood Estimator (MLE) überein. Wenn Sie daher eine geeignete Uniform im ABC-Sampler als Vorläufer betrachten, können Sie eine ungefähre Stichprobe einer posterioren Verteilung generieren, deren MAP mit der MLE übereinstimmt. Der verbleibende Schritt besteht darin, diesen Modus abzuschätzen. Dieses Problem wurde im CV diskutiert, zum Beispiel in "Rechnerisch effiziente Schätzung des multivariaten Modus" .

Ein Spielzeugbeispiel

Let wird , um eine Probe aus einem N ( μ , 1 ) und nehmen sie an, dass die einzige Information aus dieser Probe vorhanden ist ˉ x = $(x_1,...,x_n)$$N(\mu,1)$. Seiρdie euklidische Metrik inRundϵ=0.001. Der folgende R-Code zeigt, wie mit den oben beschriebenen Methoden eine ungefähre MLE unter Verwendung einer simulierten Stichprobe mitn=100undμ=0, einer Stichprobe der posterioren Verteilung der Größe1000, einer einheitlichen Priorität fürμauf(-0,3,0,3), erhalten werden kann)und einen Kerndichteschätzer zur Schätzung der Mode der posterioren Probe (MAP = MLE).$\bar{x}=\dfrac{1}{n}\sum_{j=1}^n x_j$$\rho$${\mathbb R}$$\epsilon=0.001$$n=100$$\mu=0$$1000$$\mu$$(-0.3,0.3)$

rm(list=ls())

# Simulated data
set.seed(1)
x = rnorm(100)

# Observed statistic
T0=mean(x)

# ABC Sampler using a uniform prior 

N=1000
eps = 0.001
ABCsamp = rep(0,N)
i=1

while(i<N+1){
u = runif(1,-0.3,0.3)
t.samp = rnorm(100,u,1)
Ts = mean(t.samp)
if(abs(Ts-T0)<eps){
ABCsamp[i]=u
i=i+1
print(i)
}
}

# Approximation of the MLE
kd = density(ABCsamp)
kd$x[which(kd$y==max(kd$y))]

Wie Sie sehen, erhalten wir mit einer kleinen Toleranz eine sehr gute Annäherung an die MLE (die in diesem trivialen Beispiel aus der Statistik berechnet werden kann, sofern sie ausreicht). Es ist wichtig zu beachten, dass die Auswahl der Zusammenfassungsstatistik von entscheidender Bedeutung ist. Quantile sind normalerweise eine gute Wahl für die Zusammenfassungsstatistik, aber nicht alle Auswahlmöglichkeiten ergeben eine gute Annäherung. Es kann vorkommen, dass die zusammenfassende Statistik nicht sehr aussagekräftig ist und die Qualität der Annäherung dann möglicherweise schlecht ist, was in der ABC-Community bekannt ist.

Update: Ein ähnlicher Ansatz wurde kürzlich in Fan et al. (2012) . In diesem Eintrag finden Sie eine Diskussion zum Papier.

Es hängt alles davon ab, ob die gemeinsame Verteilung dieser bekannt ist oder nicht . Wenn es z. B. ( T 1 , … , T k ) ≤ g ( t 1 , … , t k | θ , n ) ist, können Sie eine Maximum-Likelihood-Schätzung basierend auf dieser gemeinsamen Verteilung durchführen. Beachten Sie, dass, sofern ( T 1 , … , T k ) nicht ausreicht, dies fast immer eine andere maximale Wahrscheinlichkeit ist als bei Verwendung der Rohdaten $T_i$

Wenn die obige Fugenverteilung mit der Dichte nicht verfügbar ist, ist die von Procrastinator vorgeschlagene Lösung durchaus angemessen.$g$

Der (häufigste) Maximum-Likelihood-Schätzer lautet wie folgt:

$F$

Die Art und Weise, wie Sie die Wahrscheinlichkeit tatsächlich maximieren, hängt hauptsächlich von der Möglichkeit ab, die Wahrscheinlichkeit auf nachvollziehbare Weise analytisch zu schreiben. Wenn dies möglich ist, können Sie allgemeine Optimierungsalgorithmen (Newton-Raphson, Simplex ...) berücksichtigen. Wenn Sie keine nachvollziehbare Wahrscheinlichkeit haben, ist es möglicherweise einfacher, eine bedingte Erwartung wie im EM-Algorithmus zu berechnen, wodurch sich auch Schätzungen der maximalen Wahrscheinlichkeit unter eher erschwinglichen Hypothesen ergeben.

Beste