Wie hoch ist die Wahrscheinlichkeit, dass ein Schüler bei einem Test mit zufällig ausgewählten Fragen eine bessere Punktzahl erzielt als ein anderer?

7

Angenommen, es gibt einen Satz mit Fragen und es gibt 2 Schüler a und b .S1002ab

Sei Pai die Wahrscheinlichkeit, dass a die Frage i richtig beantwortet, und Pbi dasselbe für b .

Alle Pai und Pbi sind für i=1...100 .

Angenommen, eine Prüfung E wird durchgeführt, indem 10 zufällige Fragen von S .

Wie kann ich die Wahrscheinlichkeit , finden a bessere Trefferquote als sich b ?


Ich habe darüber nachgedacht, die Kombinationen zu überprüfen und die Wahrscheinlichkeiten zu vergleichen, aber es ist eine sehr große Zahl, die ewig dauern wird, daher gingen mir die Ideen aus.

Daniel
quelle
Lassen und die Anzahl der richtigen Antworten für seine und ist. Dann gilt nach dem Gesetz der Gesamtwahrscheinlichkeit: . Wenn sich die Wahrscheinlichkeiten von Frage zu Frage unterscheiden (dh die Wahrscheinlichkeiten hängen von i ab), müssen zur Bewertung der einzelnen Wahrscheinlichkeiten möglicherweise alle möglichen Kombinationen durchlaufen werden. Mögliche Abhilfemaßnahmen ... 1. Dies ist mit einem Computer immer noch sinnvoll, um die Wahrscheinlichkeiten mit roher Gewalt zu berechnen. 2. Wenn Sie davon ausgehen können, dass die Wahrscheinlichkeiten (geringfügig) nicht von abhängen , handelt es sich um eine einfache Binomialverteilung. ABabP(A>B)=x=0sP(A>B|B=x)P(B=x)i
Knrumsey
@knrumsey alle und sind feste Werte und Sie können annehmen, dass und anfänglich zufällig für . Es ist möglich, einen Computer zu benutzen, und tatsächlich benutze ich ihn, aber die Kombinationen summieren ziemlich groß ist, umPaiPbiPaiPbii=1...100100!10!(10010)!
Daniel
Was bedeutet das zufällig erzeugte ? Wenn und über nicht zu stark variieren , liefert möglicherweise eine Binomialannahme eine vernünftige Annäherung. Setzen von und ähnlich für . paipaipbiipa=1si=1spaipb
Knrumsey
Zwei weitere Kommentare: Wenn und aus derselben Verteilung generiert werden, sollte gleich 1/2 sein. Zweitens, wenn Sie mit einer Annäherung einverstanden sind, können Sie einfach eine Monte-Carlo-Simulation durchführen, um die Wahrscheinlichkeit abzuschätzen. paipbiP(A>B)
Knrumsey
Bei jeder Iteration ist weil A nur dann besser ist, wenn A richtig und B falsch ist. Wenn also für eine bestimmte Frage A 90% der Zeit richtig und B 80% der Zeit richtig ist, dann beträgt die gemeinsame Wahrscheinlichkeit, dass A richtig und B falsch ist, Nun könnten Sie einen Code schreiben, der dies tut geht alle zehn ausgewählten Fragen durch und weist A oder B basierend auf dieser gemeinsamen Wahrscheinlichkeit einen Punkt zu. Am Ende ist der Gewinner derjenige mit mehr Punkten. Tun Sie dies tausende Male und sehen Sie sich die Wahrscheinlichkeit an, dass A B gewinnt. Dies könnte als Monte Carlo bezeichnet werden. P(A>B)=P(A)(1P(B))0.90.2=0.18
COOLBEANS

Antworten:

6

Ein dynamisches Programm wird dies in kurzer Zeit erledigen.

Angenommen, wir verwalten alle Fragen an die Schüler und wählen dann zufällig eine Teilmenge von aus allen Fragen aus. Definieren wir eine Zufallsvariable , um die beiden Schüler in Frage zu vergleichen Setzen Sie sie auf wenn Schüler A korrekt ist und Schüler B nicht, wenn Schüler B korrekt ist und Schüler A nicht, und ansonsten auf . Die SummeIk=10n=100Xii:110

XI=iIXi

ist der Unterschied in den Punktzahlen für die Fragen in Wir möchten berechnen Diese Wahrscheinlichkeit wird über die gemeinsame Verteilung von undI. Pr(XI>0).IXi.

Die Verteilungsfunktion von sich leichtXi unter der Annahme berechnen, dass die Schüler unabhängig reagieren:

Pr(Xi=1)=Pai(1Pbi)Pr(Xi=1)=Pbi(1Pai)Pr(Xi=0)=1Pr(Xi=1)Pr(Xi=0).

Nennen wir diese Wahrscheinlichkeiten als Abkürzung bzw. . Schreibenai, bi,di,

fi(x)=aix+bix1+di.

Dieses Polynom ist eine Wahrscheinlichkeitsfunktion fürXi.

Betrachten Sie die rationale Funktion

ψn(x,t)=i=1n(1+tfi(x)).

(Tatsächlich ist ein Polynom: Es ist eine ziemlich einfache rationale Funktion.) xnψn(x,t)

Wenn als Polynom in , besteht der Koeffizient von aus der Summe aller möglichen Produkte von verschiedenen Dies ist eine rationale Funktion mit Koeffizienten ungleich Null nur für Potenzen von von bisDa gleichmäßig zufällig ausgewählt wird, geben die Koeffizienten dieser Potenzen von wenn sie auf Eins summiert werden, die Wahrscheinlichkeitsgenerierungsfunktion für die Differenz der Bewertungen an. Die Potenzen entsprechen der Größe vonψnttkkfi(x).xxkxk. Ix,I.

Der Punkt dieser Analyse ist, dass wir einfach und mit angemessener Effizienz berechnen können :ψ(x,t) Multiplizieren Sie einfach die Polynome nacheinander. Um dies zu tun, müssen die Koeffizienten von in für(Wir können natürlich alle höheren Potenzen von ignorieren , die in einem dieser Teilprodukte auftreten). Dementsprechend können alle notwendigen Informationen, die von werden, durch eine Matrix dargestellt werden, wobei Zeilen durch die Potenzen von (von bis ) indiziert und Spalten durch indiziert werdenn1,t,,tkψj(x,t)j=0,1,,n.tψj(x,t)2k+1×n+1xkk0 bis .k

Jeder Schritt der Berechnung erfordert Arbeit proportional zur Größe dieser Matrix, skaliert als Unter Berücksichtigung der Anzahl der Schritte ist dies ein -Zeit-, -Raumalgorithmus . Das macht es für kleine ziemlich schnell Ich habe es in (nicht bekannt für übermäßige Geschwindigkeit) für bis und bis wo es neun Sekunden dauert (auf einem einzelnen Kern). Bei der Einstellung der Frage mit und dauert die Berechnung Sekunden.O(k2).O(k2n)O(kn)k.Rk100n105,n=100k=10,0.03

Hier ist ein Beispiel, in dem die einheitliche Zufallswerte zwischen und und die ihre Quadrate sind (die immer kleiner als die , wodurch Schüler A stark bevorzugt wird). Ich habe 100.000 Untersuchungen simuliert, wie in diesem Histogramm der Nettoergebnisse zusammengefasst:Pai01PbiPai

![Zahl

Die blauen Balken zeigen die Ergebnisse an, bei denen Schüler A eine bessere Punktzahl als B erzielt hat. Die roten Punkte sind das Ergebnis des dynamischen Programms. Sie stimmen wunderbar mit der Simulation überein ( Test, ). Die aller positiven Wahrscheinlichkeiten ergibt in diesem Fall die Antwortχ2p=51%0.7526.

Beachten Sie, dass diese Berechnung mehr ergibt als verlangt: Sie erzeugt die gesamte Wahrscheinlichkeitsverteilung der Differenz der Bewertungen für alle Prüfungen von oder weniger zufällig ausgewählten Fragen.k


Für diejenigen, die eine funktionierende Implementierung verwenden oder portieren möchten, ist hier der RCode, der die Simulation erzeugt (im Vektor gespeichert Simulation) und das dynamische Programm ausgeführt hat (mit Ergebnissen im Array P). Der repeatBlock am Ende dient nur dazu, alle ungewöhnlich seltenen Ergebnisse zusammenzufassen, damit der Test offensichtlich zuverlässig wird. (In den meisten Situationen spielt dies keine Rolle, aber es verhindert, dass sich die Software beschwert.)χ2

n <- 100
k <- 10
p <- runif(n) # Student A's chances of answering correctly
q <- p^2      # Student B's chances of answering correctly
#
# Compute the full distribution.
#
system.time({
  P <- matrix(0, 2*k+1, k+1) # Indexing from (-k,0) to (k,k)
  rownames(P) <- (-k):k
  colnames(P) <- 0:k
  P[k+1, 1] <- 1
  for (i in 1:n) {
    a <- p[i] * (1 - q[i])
    b <- q[i] * (1 - p[i])
    d <- (1 - a - b)
    P[, 1:k+1] <- P[, 1:k+1] + 
      a * rbind(0, P[-(2*k+1), 1:k]) + 
      b * rbind(P[-1,  1:k], 0) + 
      d * P[,  1:k]
  }
  P <- apply(P, 2, function(x) x / sum(x))
})
#
# Simulation to check.
#
n.sim <- 1e5
set.seed(17)
system.time(
  Simulation <- replicate(n.sim, {
    i <- sample.int(n, k)
    sum(sign((runif(k) <= p[i]) - (runif(k) <= q[i]))) # Difference in scores, A-B
  })
)
#
# Test the calculation.
#
counts <- tabulate(Simulation+k+1, nbins=2*k+1)
n <- sum(counts)
k.min <- 5
repeat {
  probs <- P[, k+1]
  i <- probs * n.sim >= k.min
  z <- sum(probs[!i]) 
  if (z * n >= 5) break
  if (k.min * (2*k+1) >= n) break
  k.min <- ceiling(k.min * 3/2)
}
probs <- c(z, probs[i])
counts <- c(sum(counts[!i]), counts[i])
chisq.test(counts, p=probs)
#
# The answer.
#
sum(P[(1:k) + k+1, k+1]) # Chance that A-B is positive
whuber
quelle
2

Bei jeder Iteration

P(A>B)=P(A)(1P(B))

weil A nur dann besser ist, wenn A richtig und B falsch ist. Wenn also für eine bestimmte Frage A 90% der Zeit richtig und B 80% der Zeit richtig ist, ist die gemeinsame Wahrscheinlichkeit, dass A richtig und B falsch ist, gleich

P(A,B)=0.90.2=0.18

Jetzt können Sie einen Code schreiben, der alle zehn ausgewählten Fragen durchläuft und A oder B basierend auf dieser gemeinsamen Wahrscheinlichkeit einen Punkt zuweist. Am Ende jeder Prüfung ist der Gewinner derjenige mit den meisten Punkten. Tun Sie dies viele Male und sehen Sie sich die Wahrscheinlichkeit an, dass A B gewinnt.

Ich habe hier einen Code geschrieben, der dies tut: https://nbviewer.jupyter.org/github/kevinmcinerney/exam_probabilities/blob/master/exam_probabilities.ipynb

Das Diagramm wird auf dem Link nicht gerendert, sieht aber folgendermaßen aus:

Diese Simulation verwendete WertePai=Pbi=0.5

Geben Sie hier die Bildbeschreibung ein

In diesem Beispiel habe ich 1000 Prüfungen mit jeweils 25 Fragen durchgeführt, aber alle bilden den gleichen Satz von 100 Fragen. Die y-Achse ist die Wahrscheinlichkeit, dass A bei einer Prüfung besser abschneidet als B. Die Prüfungsnummer von (0-1000) liegt entlang der x-Achse

Sowohl A als auch B hatten ein zufälliges P, um eine Frage richtig zu stellen, sodass die Grafik auf 50% konvergiert. Ich habe 25 Fragen verwendet, weil 10 nicht sehr repräsentativ für die Bevölkerung mit 100 Fragen sind. Bei Verwendung von zehn Fragen konvergiert das Diagramm eher zu einem Prozentsatz nahe oder um 50%. Die drei Zeilen sind drei separate Versuche.

KÜHLE BOHNEN
quelle
1
Ich hoffe, dass die Grafiken nicht auf konvergieren Wenn und unabhängig voneinander gleichmäßig zwischen und sollten sie gegen einen Wert konvergieren, der sehr nahe bei Dies liegt an der Tatsache, dass (a) beide Schüler die gleichen Chancen haben, eine höhere Punktzahl zu erzielen, und (b) eine Wahrscheinlichkeit von dass sie gleichziehen. 50%.PaiPbi01,41%.18%
whuber
In meiner Antwort war es nicht klar, aber die Simulation verwendeteNicht die in einem früheren Beispiel verwendeten Wahrscheinlichkeiten 0,8 und 0,9. Klärt das oder fehlt mir immer noch Ihr Standpunkt? Pai=Pbi=0.5.
COOLBEANS
1
Sie verpassen den Punkt: Wenn keines der Paare oder besteht eine positive Chance, dass die Schüler die gleiche Gesamtpunktzahl erhalten. Wenn alle diese Paare gleich sind, wie in Ihrem Beispiel, wird es daher unmöglich, dass die Punktzahl eines Schülers die des anderen mit einer 50% igen Chance übersteigt. In Ihrem Beispiel beträgt die Chance nur 41%. Ein genauer Blick auf Ihr Grundstück zeigt, dass es mit 41%, aber nicht mit 50% übereinstimmt. (Die genaue Antwort in Ihrem Fall ist leicht zu erhalten, da alle Wahrscheinlichkeiten gleich sind: 41% ungefähr )(Pai,Pbi)(0,1)(1,0),215955/524288.
whuber