Wie hoch ist die Wahrscheinlichkeit, dass ein Schüler bei einem Test mit zufällig ausgewählten Fragen eine bessere Punktzahl erzielt als ein anderer?

Angenommen, es gibt einen Satz mit Fragen und es gibt 2 Schüler a und b .$S$$100$$2$$a$$b$

Sei $P_{ai}$ die Wahrscheinlichkeit, dass $a$ die Frage $i$ richtig beantwortet, und $P_{bi}$ dasselbe für $b$ .

Alle $P_{ai}$ und $P_{bi}$ sind für $i = 1...100$ .

Angenommen, eine Prüfung $E$ wird durchgeführt, indem $10$ zufällige Fragen von $S$ .

Wie kann ich die Wahrscheinlichkeit , finden $a$ bessere Trefferquote als sich $b$ ?

Ich habe darüber nachgedacht, die Kombinationen zu überprüfen und die Wahrscheinlichkeiten zu vergleichen, aber es ist eine sehr große Zahl, die ewig dauern wird, daher gingen mir die Ideen aus.

Ein dynamisches Programm wird dies in kurzer Zeit erledigen.

Angenommen, wir verwalten alle Fragen an die Schüler und wählen dann zufällig eine Teilmenge von aus allen Fragen aus. Definieren wir eine Zufallsvariable , um die beiden Schüler in Frage zu vergleichen Setzen Sie sie auf wenn Schüler A korrekt ist und Schüler B nicht, wenn Schüler B korrekt ist und Schüler A nicht, und ansonsten auf . Die Summe$\mathcal{I}$$k=10$$n=100$$X_i$$i:$$1$$-1$$0$

ist der Unterschied in den Punktzahlen für die Fragen in Wir möchten berechnen Diese Wahrscheinlichkeit wird über die gemeinsame Verteilung von und$\mathcal I.$ $\Pr(X_\mathcal{I} \gt 0).$$\mathcal I$$X_i.$

Die Verteilungsfunktion von sich leicht$X_i$ unter der Annahme berechnen, dass die Schüler unabhängig reagieren:

Nennen wir diese Wahrscheinlichkeiten als Abkürzung bzw. . Schreiben$a_i,$ $b_i,$$d_i,$

Dieses Polynom ist eine Wahrscheinlichkeitsfunktion für$X_i.$

Betrachten Sie die rationale Funktion

(Tatsächlich ist ein Polynom: Es ist eine ziemlich einfache rationale Funktion.) $x^n\psi_n(x,t)$

Wenn als Polynom in , besteht der Koeffizient von aus der Summe aller möglichen Produkte von verschiedenen Dies ist eine rationale Funktion mit Koeffizienten ungleich Null nur für Potenzen von von bisDa gleichmäßig zufällig ausgewählt wird, geben die Koeffizienten dieser Potenzen von wenn sie auf Eins summiert werden, die Wahrscheinlichkeitsgenerierungsfunktion für die Differenz der Bewertungen an. Die Potenzen entsprechen der Größe von$\psi_n$$t$$t^k$$k$$f_i(x).$$x$$x^{-k}$$x^k.$ $\mathcal{I}$$x,$$\mathcal{I}.$

Der Punkt dieser Analyse ist, dass wir einfach und mit angemessener Effizienz berechnen können :$\psi(x,t)$ Multiplizieren Sie einfach die Polynome nacheinander. Um dies zu tun, müssen die Koeffizienten von in für(Wir können natürlich alle höheren Potenzen von ignorieren , die in einem dieser Teilprodukte auftreten). Dementsprechend können alle notwendigen Informationen, die von werden, durch eine Matrix dargestellt werden, wobei Zeilen durch die Potenzen von (von bis ) indiziert und Spalten durch indiziert werden$n$$1, t, \ldots, t^k$$\psi_j(x,t)$$j=0, 1, \ldots, n.$$t$$\psi_j(x,t)$$2k+1\times n+1$$x$$-k$$k$$0$ bis .$k$

Jeder Schritt der Berechnung erfordert Arbeit proportional zur Größe dieser Matrix, skaliert als Unter Berücksichtigung der Anzahl der Schritte ist dies ein -Zeit-, -Raumalgorithmus . Das macht es für kleine ziemlich schnell Ich habe es in (nicht bekannt für übermäßige Geschwindigkeit) für bis und bis wo es neun Sekunden dauert (auf einem einzelnen Kern). Bei der Einstellung der Frage mit und dauert die Berechnung Sekunden.$O(k^2).$$O(k^2n)$$O(kn)$$k.$R$k$$100$$n$$10^5,$$n=100$$k=10,$$0.03$

Hier ist ein Beispiel, in dem die einheitliche Zufallswerte zwischen und und die ihre Quadrate sind (die immer kleiner als die , wodurch Schüler A stark bevorzugt wird). Ich habe 100.000 Untersuchungen simuliert, wie in diesem Histogramm der Nettoergebnisse zusammengefasst:$P_{ai}$$0$$1$$P_{bi}$$P_{ai}$

Die blauen Balken zeigen die Ergebnisse an, bei denen Schüler A eine bessere Punktzahl als B erzielt hat. Die roten Punkte sind das Ergebnis des dynamischen Programms. Sie stimmen wunderbar mit der Simulation überein ( Test, ). Die aller positiven Wahrscheinlichkeiten ergibt in diesem Fall die Antwort$\chi^2$$p=51\%$$0.7526\ldots.$

Beachten Sie, dass diese Berechnung mehr ergibt als verlangt: Sie erzeugt die gesamte Wahrscheinlichkeitsverteilung der Differenz der Bewertungen für alle Prüfungen von oder weniger zufällig ausgewählten Fragen.$k$

Für diejenigen, die eine funktionierende Implementierung verwenden oder portieren möchten, ist hier der RCode, der die Simulation erzeugt (im Vektor gespeichert Simulation) und das dynamische Programm ausgeführt hat (mit Ergebnissen im Array P). Der repeatBlock am Ende dient nur dazu, alle ungewöhnlich seltenen Ergebnisse zusammenzufassen, damit der Test offensichtlich zuverlässig wird. (In den meisten Situationen spielt dies keine Rolle, aber es verhindert, dass sich die Software beschwert.)$\chi^2$

n <- 100
k <- 10
p <- runif(n) # Student A's chances of answering correctly
q <- p^2      # Student B's chances of answering correctly
#
# Compute the full distribution.
#
system.time({
  P <- matrix(0, 2*k+1, k+1) # Indexing from (-k,0) to (k,k)
  rownames(P) <- (-k):k
  colnames(P) <- 0:k
  P[k+1, 1] <- 1
  for (i in 1:n) {
    a <- p[i] * (1 - q[i])
    b <- q[i] * (1 - p[i])
    d <- (1 - a - b)
    P[, 1:k+1] <- P[, 1:k+1] + 
      a * rbind(0, P[-(2*k+1), 1:k]) + 
      b * rbind(P[-1,  1:k], 0) + 
      d * P[,  1:k]
  }
  P <- apply(P, 2, function(x) x / sum(x))
})
#
# Simulation to check.
#
n.sim <- 1e5
set.seed(17)
system.time(
  Simulation <- replicate(n.sim, {
    i <- sample.int(n, k)
    sum(sign((runif(k) <= p[i]) - (runif(k) <= q[i]))) # Difference in scores, A-B
  })
)
#
# Test the calculation.
#
counts <- tabulate(Simulation+k+1, nbins=2*k+1)
n <- sum(counts)
k.min <- 5
repeat {
  probs <- P[, k+1]
  i <- probs * n.sim >= k.min
  z <- sum(probs[!i]) 
  if (z * n >= 5) break
  if (k.min * (2*k+1) >= n) break
  k.min <- ceiling(k.min * 3/2)
}
probs <- c(z, probs[i])
counts <- c(sum(counts[!i]), counts[i])
chisq.test(counts, p=probs)
#
# The answer.
#
sum(P[(1:k) + k+1, k+1]) # Chance that A-B is positive

Bei jeder Iteration

$P(A>B)=P(A)∗(1−P(B))$

weil A nur dann besser ist, wenn A richtig und B falsch ist. Wenn also für eine bestimmte Frage A 90% der Zeit richtig und B 80% der Zeit richtig ist, ist die gemeinsame Wahrscheinlichkeit, dass A richtig und B falsch ist, gleich

$P(A,B) = 0.9 ∗ 0.2 = 0.18$

Jetzt können Sie einen Code schreiben, der alle zehn ausgewählten Fragen durchläuft und A oder B basierend auf dieser gemeinsamen Wahrscheinlichkeit einen Punkt zuweist. Am Ende jeder Prüfung ist der Gewinner derjenige mit den meisten Punkten. Tun Sie dies viele Male und sehen Sie sich die Wahrscheinlichkeit an, dass A B gewinnt.

Ich habe hier einen Code geschrieben, der dies tut: https://nbviewer.jupyter.org/github/kevinmcinerney/exam_probabilities/blob/master/exam_probabilities.ipynb

Das Diagramm wird auf dem Link nicht gerendert, sieht aber folgendermaßen aus:

Diese Simulation verwendete Werte$P_{ai} = P_{bi} = 0.5$

In diesem Beispiel habe ich 1000 Prüfungen mit jeweils 25 Fragen durchgeführt, aber alle bilden den gleichen Satz von 100 Fragen. Die y-Achse ist die Wahrscheinlichkeit, dass A bei einer Prüfung besser abschneidet als B. Die Prüfungsnummer von (0-1000) liegt entlang der x-Achse

Sowohl A als auch B hatten ein zufälliges P, um eine Frage richtig zu stellen, sodass die Grafik auf 50% konvergiert. Ich habe 25 Fragen verwendet, weil 10 nicht sehr repräsentativ für die Bevölkerung mit 100 Fragen sind. Bei Verwendung von zehn Fragen konvergiert das Diagramm eher zu einem Prozentsatz nahe oder um 50%. Die drei Zeilen sind drei separate Versuche.