Können wir die Größe einer Teilmenge X einer Menge A durch zufälliges Abtasten von Teilmengen von A abschätzen?

8

Sei eine endliche Menge und nehmen wir an, wir wollen die Größe einer Teilmenge berechnen . $A$ $X$

Motivation : Wenn wir Elemente von gleichmäßig zufällig erzeugen können , können wir die Größe von durch Zufallsstichprobe schätzen . Das heißt, wir nehmen Zufallsstichproben von , wenn von ihnen zu gehören , dann . Leider für das, was ich mache, normalerweise ist massiv und (während massiv) ist in Bezug auf ziemlich klein $x$ $A$ $A$ $n$ $A$ $m$ $X$ $|X|/|A| \approx m/n$ $|A|$ $|X|$ $|A|$ . Wenn ich also versuche, die obige Schätzung durchzuführen, erhalte ich wahrscheinlich , was zwar nicht nutzlos, aber nicht wirklich befriedigend ist. $m=0$

Ich habe also die Idee, dass ich hoffe, diesen Prozess zu beschleunigen. Warum werfe ich keine Bälle, anstatt Darts auf eine massive Dartscheibe zu werfen? Das heißt, anstatt Elemente , werden Teilmengen von abgetastet . Sicherlich sollte ich aus diesem Experiment etwas über die Dichte von in ableiten können. $x \in A$ $A$ $X$ $A$

Angenommen, ist mit einer Metrik (ich denke an den Hamming-Abstand). Für jedes sei die geschlossene Kugel mit dem Radius in zentriert bei . Da wir Elemente gleichmäßig zufällig abtasten können, können wir Kugeln abtasten $A$ $d(x,y)$ $y \in A$ $Y(y)=\{x \in A:d(x,y) \leq k\}$ $k$ $A$ $t$ $x \in A$ $k$ gleichmäßig zufällig. $Y_k(t)$

Angenommen, (a) jedes gehört zu genau der gleichen Anzahl von Bällen und (b) jeder Ball hat die gleiche Größe . $x \in A$ $k$ $k$ $r$

Nehmen wir nun an, ich generiere Bälle gleichmäßig zufällig und nehme an, . Es scheint, wir können schätzen in ähnlicher Weise ist das $k$ $Y_1,Y_2,\ldots,Y_n$ $m=\sum_{i=1}^n |Y_i \cap X|$ $|A|$ . $|X|/|A| \approx \frac{m}{rn}$

Meine Fragen sind also:

Stimmt es, dass wir uns annähern können diesen Weg? Wenn ja, bezweifle ich, dass ich der Erste bin, der daran denkt. Gibt es also einen Namen für diese Methode? $|X|$

Ich habe dies tatsächlich an einigen Sets getestet und es scheint mit dem übereinzustimmen, was ich behaupte.

Gibt es irgendwelche Nachteile bei diesem Ansatz? (zB ist es weniger genau? Brauche ich mehr Proben?)

estimation

— Douglas S. Stones
quelle

Ich denke, Sie haben im zweiten Absatz einen kleinen Fehler gemacht:

. Ansonsten erfinden Sie im Grunde genommen die Monte-Carlo-Integration neu. Nun, die Teilmengenversion, auf die ich noch nicht gestoßen bin, aber ich wäre nicht überrascht, wenn sie bereits fertig wäre.

| X | / | A | \approx m / n

$|X|/|A| \approx m/n$

— Raskolnikov

Danke, ja, das war ein Fehler (tatsächlich gab es später auch einen ähnlichen).

— Douglas S. Stones

3

OK, lesen Sie die Wikipedia-Seite für die Monte-Carlo-Integration . Sie werden sehen, dass sie eine geschichtete Version erwähnen. Schichtung ist der Fachbegriff in der Statistik für das, was Sie versuchen: Unterteilung in Teilmengen (Teilstichproben). Ich denke, die Referenzen können Ihnen weiterhelfen.

— Raskolnikov
quelle

3

Für jede Teilmenge von sei die Wahrscheinlichkeit, mit der Sie sie in Ihrer Stichprobe auswählen. Sie haben eine Zufallsvariable beschrieben $Y$ $A$ $\pi(Y)$

f (Y) = | Y \cap X | .

$f(Y) = |Y \cap X|.$

Die Summe von in der Population von Teilmengen von ist $f$ $A$

τ (X) = \sum_{Y \subset A} | Y \cap X | = 2^{| A | - 1} | X | .

$\tau(X) = \sum_{Y \subset A}|Y \cap X| = 2^{|A|-1}|X|.$

Aus einer Stichprobe (mit Ersetzung) von Teilmengen von , beispielsweise , erhält der Hansen-Hurwitz-Schätzer eine unvoreingenommene Schätzung dieser Summe als $A$ $Y_1, Y_2, \ldots, Y_m$

{\hat{f}}_{π} = \sum_{ich = 1}^{m} \frac{| {Y.}_{ich} \cap X. |}{π ({Y.}_{ich})} .

$\hat{f}_\pi = \sum_{i=1}^{m} \frac{|Y_i \cap X|}{\pi(Y_i)} .$

Teilen Sie dies durch daher Schätzungen . Die Varianz ist $2^{|A|-1}|A|$ $|X|/|A|$ $\hat{f}_\pi$

Var ({\hat{f}}_{π}) = \frac{1}{m} \sum_{Y. \subset EIN} π (Y.) {(\frac{| Y. \cap X. |}{π (Y.)} - - 2^{| EIN | - - 1} | X. |)}^{2} .

$\text{Var}(\hat{f}_\pi) = \frac{1}{m} \sum_{Y \subset A} \pi(Y) \left( \frac{|Y \cap X|}{\pi(Y)} - 2^{|A|-1}|X| \right)^2\text{.}$

Teilen Sie dies durch ergibt die Stichprobenvarianz von . Wählen Sie bei gegebenem , und einem vorgeschlagenen Abtastverfahren (das für alle spezifiziert ) einen Wert von (die Stichprobengröße), für den die Schätzungsvarianz akzeptabel klein wird. $2^{2(|A|-1)}|A|^2$ $|X|/|A|$ $A$ $X$ $\pi(Y)$ $Y \subset A$ $m$

— whuber
quelle

toll, ich denke das ist die Antwort! Ich kannte Hansen-Hurwitz nicht ...

— Robin Girard

2

Ich gehe davon aus, dass Ihr Maß endlich ist. WLOG kann es eine Wahrscheinlichkeit sein.

Das erste Verfahren, das Sie erwähnen, ist die gute alte empirische Wahrscheinlichkeitsschätzung :

$\hat{P}(Y\in X)= | \{ x_i \in X\} | /n$

$\{x_i\in X\}$

$X$ $x_i$ $X$ $X$

$\hat{P}(Y\in X)= 1/(c(k) n)\sum_{i} K(d(x_i,X)/k)$

$K$ $1$ $K(x)=1\{x\leq 1\}$ $c(k)$ $\hat{P}(Y\in A)=1$

— Robin Girard
quelle