Berechnen Sie den p-Wert im gepaarten Bootstrap

Ich bin auf ein neues Papier der Berkeley NLP-Gruppe über statistische Tests gestoßen, eine empirische Untersuchung der statistischen Signifikanz in NLP .

Es gibt einen Pseudocode zum Berechnen eines p-Werts in der Arbeit. Grundsätzlich besteht die Idee darin, dass der Abtastsatz von $x_1,x_2,...,x_N$ werden mit Ersetzung aus Daten abgetastet . Dann$x$

$\text{p-value} = \text{count}(\delta(x_i) > 2\delta(x))/N$ , wobei $\delta(x_i)$ eine metrische Verstärkung ist.

Ich konnte die Formel zur Berechnung des p-Werts in Koehns Arbeit Statistische Signifikanztests für die Bewertung der maschinellen Übersetzung verstehen , in der:

$\text{p-value} = \text{count}(\delta_a(x_i) < \delta_b(x_i))/N$ , wobei $\delta_a$ und $\delta_b$ die metrische Verstärkung für System $a$ bzw. $b$ sind.

Gibt es irgendeine Erklärung oder Referenz für die Formel $\text{p-value} = \text{count}(\delta(x_i) > 2\delta(x))/N$ . Die Autoren auch darauf hingewiesen , dass , wenn der Mittelwert von $\delta(x_i)$ ist $\delta(x)$ und $\delta(x_i)$ symmetrisch ist, dann über beiden Formeln sind äquivalent.

Soweit ich aus Abschnitt 2 verstehe, scheinen die Autoren ihre Gründe für den Bootstrap-Test wie folgt zu erläutern:

"Die wurden aus abgetastet , und so wird ihr Durchschnitt nicht Null sein, wie es die Nullhypothese verlangt; der Durchschnitt wird stattdessen um ... Die Lösung ist eine Neuzentrierung von der Mittelwert - wollen wir wissen , wie oft ist mehr als besser als erwartet wir es zu schlagen erwarten. durch Deshalb haben wir zählen , wie viele der. haben schlagendes durch mindestens . " x δ ( x i ) δ ( x ) A δ ( x ) B δ ( x ) x i A B δ ( x $x_i$$x$$\delta(x_i)$$\delta(x)$$A$$\delta(x)$$B$$\delta(x)$$x_i$$A$$B$$\delta(x)$

Die Autoren möchten testen, ob die Verstärkung ungleich Null ist, und schreiben den p-Wert als , der als umgeschrieben werden könnte ; weil die RHS der Ungleichung zu , was das ist, das sie ablehnen wollten.$\delta(x_i) < 2\delta(x)$$0 < 2\delta(x) - \delta(x_i)$$E[\delta(x_i)]=\delta(x)$$\delta(x)$$H_0$