Ausfallwahrscheinlichkeit in einer endlichen Population

Angenommen, Sie nehmen Mitglieder aus einer Population von (ohne Ersatz) und von ihnen sind Fehler. Die Definition von Vertrauen sagt uns, dass wir diese Frage stellen sollen: $n$ $N$ $k$

Wenn es Fehler in der Population gibt, wie groß ist die Wahrscheinlichkeit, dass wir oder weniger Fehler in der Stichprobe beobachten? $K$ $k$

Ohne auf die kombinatorischen Details einzugehen, nennen wir einfach diese Nummer . Es kann verwendet werden, um obere Konfidenzgrenzen für durch eine Form der logischen Inversion festzulegen . Sei und beide bekannt und eine spezifizierte Wahrscheinlichkeit. Wenn so groß ist, dass , dann ist es unwahrscheinlich, dass wir überhaupt oder weniger Fehler beobachtet hätten . Dies gibt uns das Vertrauen, dass die wahre Anzahl von Fehlern, , streng kleiner als . $p(k,K;n,N)$ $K$ $N$ $n$ $\alpha$ $K^\prime$ $p(k,K^\prime;n,N) \lt \alpha$ $k$ $K$ $K^\prime$

Wenn wir diese Argumentation an ihre natürliche Grenze bringen, suchen wir daher den kleinsten Wert für den . Wir werden für die obere Vertrauensgrenze von für . Entsprechend könnten wir den Wert maximieren, für den : $K^\prime$ $p(k, K^\prime; n, N) \lt \alpha$ $K^\prime - 1$ $1-\alpha$ $K$ $K^{\prime\prime}$ $p(k, K^{\prime\prime}; n, N) \ge \alpha$

\begin{matrix} (1) & {UCL}_{α} (k) = max {K | p (k, K; n, N) \geq α} . \end{matrix}

$\operatorname{UCL}_\alpha(k) = \max\{K\,|\, p(k, K; n, N) \ge \alpha\}.\tag{1}$

Nun zu den Details. Die Wahrscheinlichkeit, genau Fehler zu beobachten, ist die Wahrscheinlichkeit, dass (a) unsere Element-Stichprobe diese Fehler enthält und (b) die verbleibenden Mitglieder der Bevölkerung die verbleibenden Fehler enthalten. Dies beschreibt Teilmengen aus gleich wahrscheinlichen Teilmengen. Summiert man diese für alle Werte von bis gleich der tatsächlichen Anzahl der beobachteten Fehler $k$ $n$ $k$ $N-n$ $K-k$ $\binom{K}{k} \binom{N-K}{n-k}$ $\binom{N}{n}$ $k=0$ $k$

p (k, K; n, N) = \frac{1}{(\binom{N}{n})} \sum_{j = 0}^{k} (\binom{K}{j}) (\binom{N - K}{n - j}) .

$p(k,K;n,N) = \frac{1}{\binom{N}{n}}\sum_{j=0}^k \binom{K}{j} \binom{N-K}{n-j}.$

Dies ist die hypergeometrische Verteilung .

In R, zum Beispiel, werden die Parameter an Zufuhr zu den hypergeometrischen Funktionen (genannt auf der Handbuchseite), , ( ) und ( ). Die Funktion implementiert und die Funktion implementiert ihre Umkehrung. $N-K$ m $K$ n $n$ kphyper $p$ qhyper

Nehmen wir zum Beispiel einen Fall einer Population mit Elementen, aus der eine Stichprobe der Größe gezogen wird und ein Fehler beobachtet wird. Dann $N=8$ $n=4$ $k=1$

p (3, K, 4, 8) = \frac{1}{(\binom{8}{4})} \sum_{j = 0}^{1} (\binom{K}{j}) (\binom{8 - K}{4 - j}) = \frac{1}{70} ((\binom{8 - K}{4}) + K (\binom{8 - K}{3})) .

$p(3, K, 4, 8) = \frac{1}{\binom{8}{4}}\sum_{j=0}^1 \binom{K}{j}\binom{8-K}{4-j} = \frac{1}{70}\left(\binom{8-K}{4} + K\binom{8-K}{3}\right).$

Die möglichen Werte von reichen von einem Minimum von (der eine beobachtete Fehler) bis (tritt auf, wenn jedes nicht beobachtete Mitglied der Bevölkerung ein Fehler ist). Das Einfügen dieser Werte in die vorhergehende Gleichung ergibt die Reihenfolge $K$ $k=1$ $k = k + (N-n) = 5$

(70, 55, 35, 17, 5) / 70 \approx (100, 79, 50, 24, 7) / 100.

$(70, 55, 35, 17, 5)/70 \approx (100, 79, 50, 24, 7)/100.$

R berechnet sie in einem Strich als

phyper(1, 1:5, 8-(1:5), 4)

Wir lesen diese Zahlen so:

Es besteht ein Vertrauen, dass die Bevölkerung mindestens Fehler hat. (Wir haben es gesehen.) $100\%$ $K=1$
Es besteht ein Vertrauen von , dass die Bevölkerung mindestens Fehler hat. Mit anderen Worten, wir legen großes Vertrauen in die Existenz mindestens eines weiteren Fehlers bei den nicht beobachteten Mitgliedern. $79\%$ $K=2$ $N-n=4$
Es besteht ein Vertrauen von , dass die Bevölkerung mindestens Fehler hat. Dies mag kontraintuitiv erscheinen: Da wir die Hälfte der Bevölkerung gesehen und Fehler beobachtet haben, sollten wir nicht genau 1/2 Vertrauen zuweisen, um einen weiteren Fehler in der anderen Hälfte der Bevölkerung zu sehen? Hier unterscheidet sich das Vertrauen von der Wahrscheinlichkeit. Der richtige Ansatz stellt diese Frage: Wenn es in der Bevölkerung Fehler gibt (Größe ) und wir die Hälfte davon untersuchen, wie groß ist die Wahrscheinlichkeit, dass wir nur null oder einen Fehler sehen? Aus Symmetriegründen - die nicht abgetasteten Elemente selbst bilden auch eine Zufallsstichprobe von - ist dies die Chance, dass $50\%$ $K=3$ $k=1$ $1/2=50\%$ $K=3$ $N=8$ $N-n=4$ Die verbleibenden nicht abgetasteten Mitglieder bestehen nur aus null oder einem Fehler. Die Beobachtung von null oder einem Fehler von drei in der Bevölkerung ist daher ein Ereignis, das die Hälfte der Zeit auftritt. Folglich ist die tatsächliche Beobachtung eines Fehlers vollkommen konsistent mit dem Vorhandensein von insgesamt drei Fehlern.
Es gibt ein Vertrauen von , dass die Bevölkerung mindestens Fehler hat, und ein Vertrauen von , dass sie mindestens Fehler hat. Diese Zahlen nähern sich allmählich den typischen Werten von . Zum Beispiel mit der obere Vertrauensgrenze für wäre . Aber mit das oberen UCL für ist . Wenn wir einen Fehler von vier in einer Stichprobe aus einer Population von acht Personen beobachten, besteht ein nennenswertes Risiko für alle $24\%$ $K=4$ $7\%$ $K=5$ $\alpha$ $\alpha=0.10$ $90\%$ $K$ $K=4$ $\alpha=0.05$ $95\%$ $K$ $K=5$ Die nicht abgetasteten Mitglieder sind Versager! Dies liegt daran, dass bei einem Ausfall von fünf von acht Mitgliedern immer noch eine beträchtliche Wahrscheinlichkeit besteht - mehr als dass unsere Stichprobe zufällig alle drei Erfolge enthält. $7\%$

Beachten Sie, dass qhyperin Rtut nicht berechnen Vertrauensgrenzen. Sie müssen suchen, genau wie in diesem Beispiel. Eine Brute-Force-Suche (aber relativ effizient für R) testet alle Werte wie in

which(phyper(1, 1:5, 8-(1:5), 4) >= .10)

Dieser Befehl gibt die Indizes zurück 1 2 3 4und zeigt, dass die ersten vier Elemente des Vektors 1:5(die die möglichen Werte von ) mit unseren Beobachtungen auf der Ebene übereinstimmen . Die größte davon, , entspricht wie wir durch Inspektion festgestellt haben. $K$ $\alpha=0.10$ $4$ $K=4$

Im Beispiel der Frage wird eine Stichprobe der Größe aus einer Population von entnommen und Fehler beobachtet. Was ist eine obere Konfidenzgrenze von für die Gesamtzahl der Fehler ? Die Suche ist $n=100$ $N=500$ $k=3$ $90\%$ $K$ R

`max(which(phyper(3, 1:100, 500-(1:100), 100) >= .10))`

(Die Entsprechung zwischen dieser und der mathematischen Formel für die UCL in ist offensichtlich.) $(1)$

Es wird eine UCL von . Lassen Sie uns dies noch einmal überprüfen, indem wir die Wahrscheinlichkeiten und . Der erste sollte überschreiten und der zweite sollte knapp darunter fallen: $30$ $p(3,30;100,500)$ $p(3,31;100,500)$ $10\%$

> phyper(3, 30, 500-30, 100)
[1] 0.1151626
> phyper(3, 31, 500-31, 100)
[1] 0.09959309

Genau das passiert. Wir schließen mit mindestens Sicherheit, dass es bis zu (aber nicht mehr als) zusätzliche Fehler unter den untersuchten Mitgliedern der Bevölkerung gibt. $90\%$ $K-k=30-3=27$ $N-n=500-100=400$

whuber
quelle

Wie immer vielen Dank für die Zeit und die ausführliche Antwort, @whuber. Genau das brauchte ich. Mein "ah ha" Moment war während Ihres zweiten Aufzählungspunkts, als die Bevölkerung in zwei Hälften geteilt wurde.

Ashe

Ausfallwahrscheinlichkeit in einer endlichen Population

Antworten: