Ausfallwahrscheinlichkeit in einer endlichen Population

Ich überprüfe regelmäßig endliche Populationen auf Fehler (wir stellen kundenspezifische Produkte in Chargen von ~ 500-800 her). Derzeit prüfen wir jedes Produkt auf Fehler, was ein ziemlicher Arbeitsaufwand ist. Ich möchte die Anzahl der von uns inspizierten Proben reduzieren, indem ich eine gewünschte Fehlerrate angeben und die Anzahl der zu inspizierenden Proben bestimmen, um sicherzugehen, dass wir die Fehlerrate erreichen.

Ich bin mir bewusst, dass die Regel 3 gelten würde, wenn es keine Fehler gibt, aber ich möchte eine genauere Lösung in Situationen, in denen die Stichprobe einen Fehler aufweist.

Dies scheint am besten als hypergeometrische Verteilung modelliert zu werden , aber ich habe Mühe, die Frage in diesen Begriffen richtig zu formulieren. Ich mag Beispiele, also sage ich, ich habe 500 Einwohner, und ich möchte zu 99% sicher sein, dass es 5 oder weniger Fehler in der Bevölkerung gibt.

Wie rahme ich diese Art von Frage mithilfe der hypergeometrischen Verteilung ein?

Mein aktueller Versuch ist folgender (in Bezug auf die Wiki-Variablen):

$N=500$ ; ; ; $K=495$$n=100$$P(X)=0.01$

Bei einer Stichprobe von 50 und 3 Fehlern beträgt die Wahrscheinlichkeit einer 10% igen Fehlerrate (aus irgendeinem Grund wird bei Verwendung von LaTex ein [Fehler bei der mathematischen Verarbeitung] angezeigt, daher werde ich meinen Fortschritt in R-Befehlen veröffentlichen).

qhyper(p=0.01, m=495, n=5, k=100)

Was ergibt . Wenn ich dies interpretiere, sollte ich wegnehmen, dass ich bei einer Stichprobe von 100 in einer Bevölkerung von 500 zu 99% sicher sein kann, dass die Fehlerrate nicht schlechter als 1% (oder 5 in) ist, wenn ich 3 oder weniger Fehler in meiner Stichprobe finde 500)?$k=97$

Ich habe zwar keine große Intuition für diese Art der Verteilung, aber mein Darm lässt mich bei dem Gedanken innehalten, 100 Proben zu beproben, 3 Fehler zu finden und mit 99% iger Sicherheit zu erklären, dass es nur bis zu 2 weitere in der verbleibende 400.

Angenommen, Sie nehmen Mitglieder aus einer Population von (ohne Ersatz) und von ihnen sind Fehler. Die Definition von Vertrauen sagt uns, dass wir diese Frage stellen sollen:$n$$N$$k$

Wenn es Fehler in der Population gibt, wie groß ist die Wahrscheinlichkeit, dass wir oder weniger Fehler in der Stichprobe beobachten?$K$$k$

Ohne auf die kombinatorischen Details einzugehen, nennen wir einfach diese Nummer . Es kann verwendet werden, um obere Konfidenzgrenzen für durch eine Form der logischen Inversion festzulegen . Sei und beide bekannt und eine spezifizierte Wahrscheinlichkeit. Wenn so groß ist, dass , dann ist es unwahrscheinlich, dass wir überhaupt oder weniger Fehler beobachtet hätten . Dies gibt uns das Vertrauen, dass die wahre Anzahl von Fehlern, , streng kleiner als .$p(k,K;n,N)$$K$$N$$n$$\alpha$$K^\prime$$p(k,K^\prime;n,N) \lt \alpha$$k$$K$$K^\prime$

Wenn wir diese Argumentation an ihre natürliche Grenze bringen, suchen wir daher den kleinsten Wert für den . Wir werden für die obere Vertrauensgrenze von für . Entsprechend könnten wir den Wert maximieren, für den :$K^\prime$$p(k, K^\prime; n, N) \lt \alpha$$K^\prime - 1$$1-\alpha$$K$$K^{\prime\prime}$$p(k, K^{\prime\prime}; n, N) \ge \alpha$

$$\operatorname{UCL}_\alpha(k) = \max\{K\,|\, p(k, K; n, N) \ge \alpha\}.\tag{1}$$

---

Nun zu den Details. Die Wahrscheinlichkeit, genau Fehler zu beobachten, ist die Wahrscheinlichkeit, dass (a) unsere Element-Stichprobe diese Fehler enthält und (b) die verbleibenden Mitglieder der Bevölkerung die verbleibenden Fehler enthalten. Dies beschreibt Teilmengen aus gleich wahrscheinlichen Teilmengen. Summiert man diese für alle Werte von bis gleich der tatsächlichen Anzahl der beobachteten Fehler$k$$n$$k$$N-n$$K-k$$\binom{K}{k} \binom{N-K}{n-k}$$\binom{N}{n}$$k=0$$k$

$$p(k,K;n,N) = \frac{1}{\binom{N}{n}}\sum_{j=0}^k \binom{K}{j} \binom{N-K}{n-j}.$$

Dies ist die hypergeometrische Verteilung .

In R, zum Beispiel, werden die Parameter an Zufuhr zu den hypergeometrischen Funktionen (genannt auf der Handbuchseite), , ( ) und ( ). Die Funktion implementiert und die Funktion implementiert ihre Umkehrung.$N-K$m$K$n$n$kphyper$p$qhyper

Nehmen wir zum Beispiel einen Fall einer Population mit Elementen, aus der eine Stichprobe der Größe gezogen wird und ein Fehler beobachtet wird. Dann$N=8$$n=4$$k=1$

$$p(3, K, 4, 8) = \frac{1}{\binom{8}{4}}\sum_{j=0}^1 \binom{K}{j}\binom{8-K}{4-j} = \frac{1}{70}\left(\binom{8-K}{4} + K\binom{8-K}{3}\right).$$

Die möglichen Werte von reichen von einem Minimum von (der eine beobachtete Fehler) bis (tritt auf, wenn jedes nicht beobachtete Mitglied der Bevölkerung ein Fehler ist). Das Einfügen dieser Werte in die vorhergehende Gleichung ergibt die Reihenfolge$K$$k=1$$k = k + (N-n) = 5$

$$(70, 55, 35, 17, 5)/70 \approx (100, 79, 50, 24, 7)/100.$$

R berechnet sie in einem Strich als

phyper(1, 1:5, 8-(1:5), 4)

Wir lesen diese Zahlen so:

• Es besteht ein Vertrauen, dass die Bevölkerung mindestens Fehler hat. (Wir haben es gesehen.)$100\%$$K=1$

• Es besteht ein Vertrauen von , dass die Bevölkerung mindestens Fehler hat. Mit anderen Worten, wir legen großes Vertrauen in die Existenz mindestens eines weiteren Fehlers bei den nicht beobachteten Mitgliedern.$79\%$$K=2$$N-n=4$

• Es besteht ein Vertrauen von , dass die Bevölkerung mindestens Fehler hat. Dies mag kontraintuitiv erscheinen: Da wir die Hälfte der Bevölkerung gesehen und Fehler beobachtet haben, sollten wir nicht genau 1/2 Vertrauen zuweisen, um einen weiteren Fehler in der anderen Hälfte der Bevölkerung zu sehen? Hier unterscheidet sich das Vertrauen von der Wahrscheinlichkeit. Der richtige Ansatz stellt diese Frage: Wenn es in der Bevölkerung Fehler gibt (Größe ) und wir die Hälfte davon untersuchen, wie groß ist die Wahrscheinlichkeit, dass wir nur null oder einen Fehler sehen? Aus Symmetriegründen - die nicht abgetasteten Elemente selbst bilden auch eine Zufallsstichprobe von - ist dies die Chance, dass$50\%$$K=3$$k=1$$1/2=50\%$$K=3$$N=8$$N-n=4$Die verbleibenden nicht abgetasteten Mitglieder bestehen nur aus null oder einem Fehler. Die Beobachtung von null oder einem Fehler von drei in der Bevölkerung ist daher ein Ereignis, das die Hälfte der Zeit auftritt. Folglich ist die tatsächliche Beobachtung eines Fehlers vollkommen konsistent mit dem Vorhandensein von insgesamt drei Fehlern.

• Es gibt ein Vertrauen von , dass die Bevölkerung mindestens Fehler hat, und ein Vertrauen von , dass sie mindestens Fehler hat. Diese Zahlen nähern sich allmählich den typischen Werten von . Zum Beispiel mit der obere Vertrauensgrenze für wäre . Aber mit das oberen UCL für ist . Wenn wir einen Fehler von vier in einer Stichprobe aus einer Population von acht Personen beobachten, besteht ein nennenswertes Risiko für alle$24\%$$K=4$$7\%$$K=5$$\alpha$$\alpha=0.10$$90\%$$K$$K=4$$\alpha=0.05$$95\%$$K$$K=5$Die nicht abgetasteten Mitglieder sind Versager! Dies liegt daran, dass bei einem Ausfall von fünf von acht Mitgliedern immer noch eine beträchtliche Wahrscheinlichkeit besteht - mehr als dass unsere Stichprobe zufällig alle drei Erfolge enthält.$7\%$

Beachten Sie, dass qhyperin Rtut nicht berechnen Vertrauensgrenzen. Sie müssen suchen, genau wie in diesem Beispiel. Eine Brute-Force-Suche (aber relativ effizient für R) testet alle Werte wie in

which(phyper(1, 1:5, 8-(1:5), 4) >= .10)

Dieser Befehl gibt die Indizes zurück 1 2 3 4und zeigt, dass die ersten vier Elemente des Vektors 1:5(die die möglichen Werte von ) mit unseren Beobachtungen auf der Ebene übereinstimmen . Die größte davon, , entspricht wie wir durch Inspektion festgestellt haben.$K$$\alpha=0.10$$4$$K=4$

---

Im Beispiel der Frage wird eine Stichprobe der Größe aus einer Population von entnommen und Fehler beobachtet. Was ist eine obere Konfidenzgrenze von für die Gesamtzahl der Fehler ? Die Suche ist$n=100$$N=500$$k=3$$90\%$$K$R

`max(which(phyper(3, 1:100, 500-(1:100), 100) >= .10))`

(Die Entsprechung zwischen dieser und der mathematischen Formel für die UCL in ist offensichtlich.)$(1)$

Es wird eine UCL von . Lassen Sie uns dies noch einmal überprüfen, indem wir die Wahrscheinlichkeiten und . Der erste sollte überschreiten und der zweite sollte knapp darunter fallen:$30$$p(3,30;100,500)$$p(3,31;100,500)$$10\%$

> phyper(3, 30, 500-30, 100)
[1] 0.1151626
> phyper(3, 31, 500-31, 100)
[1] 0.09959309

Genau das passiert. Wir schließen mit mindestens Sicherheit, dass es bis zu (aber nicht mehr als) zusätzliche Fehler unter den untersuchten Mitgliedern der Bevölkerung gibt.$90\%$$K-k=30-3=27$$N-n=500-100=400$