Test auf Proportionen und binären Klassifikator

Ich habe einen Prototyp einer Maschine, die Teile herstellt.

In einem ersten Test produziert die Maschine Teile und ein binärer Klassifikator sagt mir, dass Teile defekt sind ( , normalerweise und ) und Teile gut sind.d 1 d 1 < N 1 d 1 / N 1 < 0,01 N 1 ≤ 10 4 N 1 - d $N_1$$d_1$$d_1 < N_1$$d_1/N_1<0.01$$N_1\approx10^4$$N_1-d_1$

Anschließend nimmt ein Techniker einige Änderungen an der Maschine vor, um die Anzahl der defekten Teile zu verringern.

In einem zweiten und folgenden Test produziert die modifizierte Maschine Teile und der gleiche binäre Klassifikator (unberührt) sagt mir, dass Teile defekt sind, trotzdem ist ziemlich ähnlich .d 2 d 2 / N 2 d 1 / N $N_2$$d_2$$d_2/N_2$$d_1/N_1$

Der Techniker möchte wissen, ob seine Änderungen wirksam sind.

Unter der Annahme, dass die Klassifikatoren perfekt sind (ihre Empfindlichkeit beträgt 100% und ihre Spezifität 100%), kann ich einen Proportionstest durchführen (mit R tippe ich einfach prop.test(c(d1,d2),c(N1,N2))).

Der Klassifikator ist jedoch nicht perfekt. Wie kann ich also die Empfindlichkeit und die Spezifität des Klassifikators berücksichtigen, die beide unbekannt sind, um dem Techniker richtig zu antworten?

Ich leite dies also aus ersten Prinzipien ab und bin mir daher nicht sicher, ob es richtig ist. Hier sind meine Gedanken:

EDIT: Das war vorher nicht ganz richtig. Ich habe es aktualisiert.

1. Lassen Sie uns die erwartete Differenz zwischen der tatsächlichen Anzahl der echten Positiven und der vom binären Klassifikator ausgegebenen Anzahl bezeichnen, die wir . Sie können dies messen, indem Sie Ihren Klassifikator auf einem Set mit bekannten Beschriftungen ausführen. Subtrahieren Sie die Anzahl der tatsächlichen Positiven von der Anzahl der vom Klassifizierer erzeugten Positiven und dividieren Sie dann durch , um .d 1 ^ d 1 N $\alpha$$d_1$$\hat{d_1}$$N$$\alpha$

2. Eine Punktschätzung für das tatsächliche Verhältnis fehlerhafter Teile ergibt sich also aus: . Das heißt, die beobachtete Anzahl fehlerhafter Teile, abzüglich der erwarteten Anzahl falsch positiver Ergebnisse plus der erwarteten Anzahl falsch negativer Teile.$\hat{\frac{d_1}{N_1}} = \frac{d_1 + \alpha * N_1}{N_1}$

3. Ebenso ist$\hat{\frac{d_2}{N_2}} = \frac{d_2 + \alpha * N_2}{N_2}$

4. Lassen Sie uns jetzt einen Requisitentest durchführen. Im Standard-Prop-Test berechnen wir zuerst das gepoolte Verhältnis, das als Nullwert verwendet wird: . Hier geben wir also unsere Punktschätzungen für und , um zu erhalten: ^ d $p= \frac{p_1*N_1 + p_2*N_2}{N_1 + N_2}$ ^d$\hat{\frac{d_1}{N_1}}$$\hat{\frac{d_2}{N_2}}$$p= \frac{d_1 + d_2 + \alpha * (N_1 + N_2)}{N_1 + N_2}$

5. Und dann ist der Standardfehler nur der übliche:$\sqrt{p*(1-p)*(\frac{1}{N_1} + \frac{1}{N_2})}$

6. Die Teststatistik ist dieselbe:$z = \frac{\frac{d_1}{N_1} - \frac{d_2}{N_2}}{se}$

Einige Gedanken zur Interpretation:

• Das Modell kann imaginäre Werte für Standardfehler erzeugen. Dies geschieht, wenn ist. Dies ist der Fall, wenn die Anzahl der Fehler, die die Klassifizierer voraussichtlich erzeugen, die beobachtete Anzahl überschreitet. Nehmen wir zum Beispiel an, wir erwarten von unserem Klassifikator einen Durchschnitt von 5 Positiven, selbst wenn eine Probe keine Positiven enthält. Wenn wir 4 Positive beobachten, ist es so, als gäbe es kein Signal: Unser Ergebnis ist nicht von dem vom Klassifikator erzeugten Rauschen zu unterscheiden. In diesem Fall sollten wir die Nullhypothese nicht ablehnen, denke ich.$p < 0$

• Eine andere Möglichkeit, darüber nachzudenken, besteht darin, dass wir, wenn die Anzahl der fehlerhaften Teile innerhalb der Fehlergrenze für den Klassifizierer liegt, natürlich nicht feststellen können, ob es einen Unterschied gibt: Wir können nicht einmal feststellen, ob Teile defekt sind!

Einbeziehung von Fehlern in die Schätzung von :$\alpha$

• Ich habe noch etwas darüber nachgedacht, und ich denke, es gibt verschiedene Möglichkeiten, dies zu tun, aber im Wesentlichen möchten Sie eine Schätzung der Verteilung von . Idealerweise würden Sie diesen Kauf wiederholen, indem Sie Ihr Verfahren wiederholen, um die Schätzung von für eine repräsentative Stichprobe der Datensätze zu erhalten, für die Sie diese Methode verwenden möchten . Wenn dies nicht möglich ist, können Sie einen einzelnen Datensatz booten, indem Sie Beispiele daraus zeichnen. Dies ist jedoch nur dann ideal, wenn Ihr einzelner Datensatz für alle Sätze repräsentativ ist, die Sie interessieren.$\alpha$$\alpha$

Angenommen, wir möchten ein Konfidenzintervall mit einer Konfidenz von berechnen .$h$

• Berechnen Sie das -Konfidenzintervall empirisch über mithilfe der Bootstrap-Verteilung. Stecken Sie jeden Endpunkt in den obigen Prozess und verwenden Sie ihn als (sehr konservative oder sehr liberale) Punktschätzung für Ermitteln Sie das Konfidenzintervall für die Schätzung der Proportionsdifferenz mithilfe des Prop-Tests . Angenommen, wir erhalten Intervalle ( und als Intervalle für die niedrigeren und höheren Werte von . Dann sollte das Intervall (das beide früheren Intervalle enthält) ein (1-h) * 100% CI für den Unterschied in den Proportionen sein ... Ich denke ...$\frac{h}{2}$$\alpha$$\alpha$$\frac{h}{2}$$low_l, low_r)$$(high_l, high_r)$$\alpha$$(high_l,low_r)$

Hinweis: Oben habe ich einen einseitigen Test angenommen. Sie teilen h durch 2, um die Tatsache zu berücksichtigen, dass Sie zwei unabhängige Hypothesen testen ( sich in dem Intervall, das Sie denken, und die Teststatistik ist ein signifikanter Unterschied). Wenn Sie einen zweiseitigen Test durchführen möchten, teilen Sie stattdessen durch 4.$\alpha$