Was ist eine wichtige Stichprobe?

Ich versuche, Bestärkungslernen zu lernen und dieses Thema ist für mich wirklich verwirrend. Ich habe eine Einführung in die Statistik genommen, konnte dieses Thema aber nicht intuitiv verstehen.

Die Stichprobe zur Ermittlung der Bedeutung ist eine Form der Stichprobe aus einer Verteilung, die sich von der Verteilung des Interesses unterscheidet , um leichter bessere Schätzungen eines Parameters aus der Verteilung des Interesses zu erhalten. In der Regel liefert dies Schätzungen des Parameters mit einer geringeren Varianz, als wenn die Stichprobe direkt aus der ursprünglichen Verteilung mit derselben Stichprobengröße entnommen würde.

Es wird in verschiedenen Zusammenhängen angewendet. Im Allgemeinen ermöglicht das Abtasten aus der unterschiedlichen Verteilung, dass mehr Proben in einem Teil der interessierenden Verteilung entnommen werden , der von der Anwendung vorgegeben wird (wichtiger Bereich).

Ein Beispiel könnte sein, dass Sie eine Stichprobe haben möchten, die mehr Stichproben aus den Endpunkten der Verteilung enthält, als reine Zufallsstichproben aus der Verteilung von Interesse liefern würden.

Der Wikipedia-Artikel , den ich zu diesem Thema gesehen habe, ist zu abstrakt. Es ist besser, sich verschiedene spezifische Beispiele anzuschauen. Es enthält jedoch Links zu interessanten Anwendungen wie Bayesian Networks.

Ein Beispiel für eine wichtige Stichprobe in den 1940er und 1950er Jahren ist eine Varianzreduktionstechnik (eine Form der Monte-Carlo-Methode). Siehe zum Beispiel das Buch Monte Carlo Methods von Hammersley und Handscomb, das 1964 als Methuen Monograph / Chapman and Hall veröffentlicht und 1966 und später von anderen Verlagen nachgedruckt wurde. Abschnitt 5.4 des Buches behandelt die Stichprobenerhebung.

Die Wichtigkeitsabtastung ist eine Simulation oder Monte-Carlo-Methode zur Approximation von Integralen. Der Begriff "Stichprobe" ist insofern etwas verwirrend, als er keine Stichproben aus einer bestimmten Verteilung liefern soll.

Die Intuition hinter der Wichtigkeitsabtastung ist, dass ein genau definiertes Integral wie kann als Erwartung für einen weiten Bereich von Wahrscheinlichkeitsverteilungen ausgedrückt werden: I = E f [ H ( X ) ] = ∫ X H ( x ) f ( x

$$\mathfrak{I}=\int_\mathfrak{X} h(x)\,\text{d}x$$ wobei f die Dichte einer Wahrscheinlichkeitsverteilung bezeichnet und H durch h und f bestimmt wird . (Beachten Sie, dass sich H ( ⋅ ) normalerweise von h ( ⋅ ) unterscheidet .)In der Tat ist die Wahl H ( x ) = h ( x $$\mathfrak{I}=\mathbb{E}_f[H(X)]=\int_\mathfrak{X} H(x)f(x)\,\text{d}x$$ $f$$H$$h$$f$$H(\cdot)$$h(\cdot)$ führt zu den GleichungenH(x)f(x)=h(x)undI=Ef[H(X)]-unter gewissen Einschränkungen für die Unterstützung vonf, wasf(x)>0 bedeutet,wennh(x)≤0 $$H(x)=\dfrac{h(x)}{f(x)}$$ $H(x)f(x)=h(x)$$\mathfrak{I}=\mathbb{E}_f[H(X)]$$-$$f$$f(x)>0$$h(x)\ne 0$$-$. Wie W. Huber in seinem Kommentar hervorhob, gibt es daher keine Einheitlichkeit in der Darstellung eines Integrals als Erwartung, sondern im Gegenteil eine unendliche Reihe solcher Darstellungen, von denen einige besser sind als andere, sobald sie ein Vergleichskriterium darstellen sie wird adoptiert. Zum Beispiel erwähnt Michael Chernick die Wahl von , um die Varianz des Schätzers zu verringern.$f$

Wenn diese elementare Eigenschaft erst einmal verstanden ist, besteht die Umsetzung der Idee darin, sich auf das Gesetz der großen Zahlen wie bei anderen Monte-Carlo-Methoden zu stützen, dh [über einen Pseudozufallsgenerator] eine iid-Stichprobe zu simulieren n ) von verteilten f und die Approximation zu verwenden I = $(x_1,\ldots,x_n)$$f$welches

$$\hat{\mathfrak{I}}=\frac{1}{n} \sum_{i=1}^n H(x_i)$$

1. ist ein unvoreingenommener Schätzer von $\mathfrak{I}$
2. konvergiert fast sicher zu $\mathfrak{I}$

Je nach Wahl der Verteilung , die oben Schätzer ich kann oder auch nicht eine endliche Varianz haben. Es gibt jedoch immer Optionen für f , die eine endliche Varianz und sogar eine willkürlich kleine Varianz zulassen (obwohl diese Optionen in der Praxis möglicherweise nicht verfügbar sind). Und gibt es auch Entscheidungen von f , die die Importance Sampling - Schätzer machen ich eine sehr schlechte Annäherung der ich . Dies schließt alle Möglichkeiten ein, bei denen die Varianz unendlich wird, obwohl ein kürzlich veröffentlichter Aufsatz von Chatterjee und Diaconis untersucht, wie man Wichtigkeitssampler mit der Varianz unendlich vergleicht. Das Bild unten stammt von$f$$\hat{\mathfrak{I}}$$f$$f$$\hat{\mathfrak{I}}$${\mathfrak{I}}$mein Blog Diskussion über das Papier und zeigt die schlechte Konvergenz unendlichen Varianz - Schätzer.

Wichtigkeitsstichprobe mit Wichtigkeitsverteilung und Exp (1) -Verteilung Zielverteilung und Exp (1/10) -Verteilung und interessierender Funktion . Der wahre Wert des Integrals ist 10 .$h(x)=x$$10$

[Das Folgende ist aus unserem Buch Monte Carlo Statistical Methods wiedergegeben .]

$f$

$$\int_\mathfrak{X} h(x) f(x)\,\text{d}x$$

$p$${\mathcal{C}}(0,1)$$2$ Wenn p wird durch den empirischen Mittelwert ausgewertet p 1 =

$$p = \int_2^{+\infty} \; {1\over \pi(1 + x^2)} \; \text{d}x \;.$$ $p$ einer iid-Stichprobe X 1 ,…, X m $${\hat{p}}_1 = {1\over m} \; \sum_{j=1}^m \; \mathbb{I}_{X_{j} > 2}$$ $X_1,\ldots,X_m$ $\sim$ $\; \mathcal{C}(0,1)$$p(1-p)/m$$0.127/m$$p=0.15$

${\mathcal{C}}(0,1)$

$${\hat{p}}_2 = {1\over 2m} \; \sum_{j=1}^m \; \mathbb{I}_{|X_{j}| > 2}$$ $p(1-2p)/2m$$0.052/m$

$[2,+\infty)$$p$$p$

$$p = {1\over 2} - \int_0^2 \; {1\over \pi(1 + x^2)} \; \text{d}x \;,$$ $h(X) = 2/\pi(1 + X^2)$$X \sim {\mathcal{U}}_{[0, 2]}$$p$ $${\hat{p}}_3 = {1\over 2} - {1\over m} \; \sum_{j=1}^m \; h(U_j)$$ $U_j \sim {\mathcal{U}}_{[0,2]}$${\hat{p}}_3$$(\mathbb{E}[h^2] - \mathbb{E}[h]^2)/m$$0.0285/m$$p$ $$p = \int_0^{1/2} \; {y^{-2}\over \pi(1 + y^{-2})} \; \text{d}y \;,$$ ${1\over 4} \; h(Y) = 1/2\pi(1 + Y^2)$$[0,1/2]$$p$ $${\hat{p}}_4 = {1\over 4 m} \; \sum_{j=1}^m \; h(Y_j)$$ $Y_j \sim {\mathcal{U}}_{[0,1/2]}$${\hat{p}}_{4}$$0.95 \; 10^{-4}/m$

${\hat{p}}_1$${\hat p}_4$$10^{-3}$$\sqrt{1000} \approx 32$$\hat p_1$$\blacktriangleright$