Vergleich von 0/10 mit 0/20

Gibt es eine Möglichkeit, bei der Erörterung der Aufgabenerfüllungsraten zu zeigen, dass 0 von 20 Versuchen "schlechter" sind als 0 von 10 Versuchen?

Angenommen, wir kennen die Erfolgswahrscheinlichkeit eines Versuchs. In diesem Fall berechnen wir die Wahrscheinlichkeit von 0 von 10 und 0 von 20 Fällen.

In diesem Fall gehen wir jedoch umgekehrt. Wir kennen die Wahrscheinlichkeit nicht, wir haben die Daten und wir versuchen, die Wahrscheinlichkeit zu schätzen.

Je mehr Fälle wir haben, desto sicherer können wir hinsichtlich der Ergebnisse sein. Wenn ich eine Münze umwerfe und es Kopf ist, werden Sie nicht sehr sicher sein, dass es Doppelkopf ist. Wenn ich es 1000 Mal werfe und es alle Köpfe sind, ist es unwahrscheinlich, dass es ausgeglichen ist.

Es gibt Methoden, die entwickelt wurden, um die Anzahl der Trails bei der Abgabe der Schätzungen zu berücksichtigen. Eine davon ist die additive Glättung , über die @abukaj oben einen Kommentar abgegeben hat. Bei der additiven Glättung werden zusätzliche Pseudo-Samples berücksichtigt. In unserem Fall fügen wir dem Pfad, den wir gesehen haben, zwei weitere hinzu - einen erfolgreichen und einen fehlgeschlagenen.

• Im ersten Fall beträgt die geglättete Wahrscheinlichkeit = ~ 8,3%$\frac{1+0}{10 +1 +1}$$\frac{1}{12}$
• Im zweiten Fall erhalten wir = ~ 4,5%$\frac{1+0}{20 +1 +1}$$\frac{1}{22}$

Beachten Sie, dass die additive Glättung nur eine Schätzmethode ist. Sie erhalten unterschiedliche Ergebnisse mit unterschiedlichen Methoden. Selbst mit der additiven Glättung selbst hätten Sie unterschiedliche Ergebnisse erzielt, wenn Sie 4 Pseudo-Samples hinzugefügt hätten.

Eine andere Methode ist die Verwendung des Konfidenzintervalls, wie von @mdewey vorgeschlagen. Je mehr Stichproben wir haben, desto kürzer wird das Konfidenzintervall. Die Größe des Konfidenzintervalls ist proportional zur Quadratwurzel der Stichproben - . Daher führt eine Verdoppelung der Anzahl der Abtastwerte zu einem kürzeren Konfidenzintervall.$\frac{1}{\sqrt{n}}$$\sqrt{2}$

Der Mittelwert in beiden Fällen ist 0. Wir nehmen ein Konfidenzniveau von 90% an (z = 1,645)

• Im ersten Fall erhalten wir 0 + ~ 52%$\frac{1.645}{\sqrt{10}}$
• Im zweiten Fall erhalten wir 0 + ~ 36%$\frac{1.645}{\sqrt{20}}$

Bei fehlenden Daten besteht Unsicherheit. Die Annahmen, die Sie treffen, und die externen Daten, die Sie verwenden, ändern, was Sie erhalten.

Um die Idee des Aufrufs von Konfidenzintervallen zu erweitern, gibt es ein Konzept eines exakten Binomialintervalls.

Die Binomialverteilung ist die Gesamtzahl der Erfolge in unabhängigen Versuchen, die entweder mit 0 (Misserfolg) oder 1 (Erfolg) enden. Die Wahrscheinlichkeit, 1 (Erfolg) zu erhalten, wird traditionell mit , und sein Komplement ist . Dann ist das Standardwahrscheinlichkeitsergebnis, dass die Wahrscheinlichkeit von genau Erfolgen in Versuchen istq = 1 - p k $p$$q=1-p$$k$$n$

$$p_{n,k} = {n \choose k} p^k q^{n-k} = \frac{n!}{k!(n-k)!} p^k q^{n-k}$$

Das Konzept des Konfidenzintervalls besteht darin, eine Reihe möglicher Werte der Modellparameter (hier Erfolgswahrscheinlichkeiten ) zu binden, damit wir probabilistische (gut, häufig auftretende ) Aussagen darüber treffen können, ob der wahre Parameterwert innerhalb dieses Intervalls liegt (nämlich Wenn wir das probabilistische Experiment von 10 oder 20 Versuchen wiederholen und das Konfidenzintervall auf eine bestimmte Weise konstruieren, werden wir feststellen, dass der wahre Wert des Parameters in 95% der Fälle innerhalb des Intervalls liegt.$p$

In diesem Fall können wir in dieser Formel nach auflösen: $p$

$$p_{n,0}=(1-p)^n$$

Wenn wir also ein einseitiges Intervall von 95% wollten, würden wir , um die Wahrscheinlichkeit zu ermitteln, dass die beobachtete Nullzahl höchstens 5% beträgt. Für lautet die Antwort (dh im Extremfall, wenn die Wahrscheinlichkeit eines Erfolgs in jedem Versuch 13,9% beträgt, beträgt die Wahrscheinlichkeit, keine Erfolge zu beobachten, 5%). Für lautet die Antwort . Aus einer Stichprobe von haben wir also mehr gelernt als aus der Stichprobe von , in dem Sinne, dass wir den Bereich "ausschließen" können, in dem die Stichprobe von geht immer noch als plausibel.$p_{n,0}=5\%$$n=20$$[0\%,13.9\%]$$n=10$$[0\%,25.9\%]$$n=20$$n=10$$[13.9\%,25.9\%]$$n=10$

Ein Bayes'scher Ansatz

• Sei für eine Reihe von IID- Bernoulli-Zufallsvariablen mit dem Parameter .$X_i$$i=1,\ldots n$$p$
• Stellen wir unsere Unsicherheit des Parameters indem wir annehmen, dass er der Beta-Verteilung mit den Hyperparametern und folgt .$p$ $\alpha$$\beta$

Die Wahrscheinlichkeitsfunktion ist Bernoulli und die Beta-Verteilung ist ein Konjugat vor der Bernoulli-Verteilung, daher folgt der hintere Teil der Beta-Verteilung. Darüber hinaus wird der Posterior parametrisiert durch:

$$\hat{\alpha} = \alpha + \sum_{i=1}^n X_i \quad \quad \hat{\beta} = \beta + n - \sum_{i=1}^n X_i$$

Folglich:

$$\begin{align*} \mathrm{E}[p \mid X_1, \ldots, X_n] &= \frac{\hat{\alpha}}{\hat{\alpha} + \hat{\beta}}\\ &= \frac{\alpha + \sum_{i=1}^n X_i }{\alpha + \beta + n} \end{align*}$$

Wenn Sie also 10 Ausfälle zu sehen, Ihre Erwartung von ist , und wenn Sie 20 Ausfälle zu sehen, Ihre Erwartung von ist . Je mehr Fehler Sie sehen, desto geringer ist Ihre Erwartung von .$p$$\frac{\alpha}{\alpha + \beta + 10}$$p$$\frac{\alpha}{\alpha + \beta + 20}$$p$

Ist das ein vernünftiges Argument? Es hängt davon ab, wie Sie sich zur Bayes'schen Statistik fühlen und ob Sie bereit sind, die Unsicherheit über einen Parameter mithilfe der Wahrscheinlichkeitsmechanik zu modellieren . Und es hängt davon ab, wie vernünftig Ihre Wahl eines Prior ist.$p$