Wie können Sie feststellen, ob gute Leistungen in Streifen auftreten?

10

Ich löse Rubiks Würfel als Hobby. Ich zeichne die Zeit auf, die ich gebraucht habe, um den Würfel mit einer Software zu lösen, und jetzt habe ich Daten aus Tausenden von Lösungen. Die Daten sind im Grunde genommen eine lange Liste von Zahlen, die die Zeit darstellen, die jede sequentielle Lösung benötigt hat (z. B. 22.11, 20.66, 21.00, 18.74, ...).

Die Zeit, die ich brauche, um den Würfel zu lösen, variiert natürlich etwas von Lösung zu Lösung, daher gibt es gute und schlechte Lösungen.

Ich möchte wissen, ob ich "heiß werde" - ob die guten Lösungen in Streifen kommen. Wenn ich zum Beispiel nur ein paar gute Lösungen hintereinander hatte, ist es dann wahrscheinlicher, dass meine nächste Lösung gut ist?

Welche Art von Analyse wäre angemessen? Ich kann mir einige spezifische Dinge vorstellen, die zu tun sind, zum Beispiel die Lösungen als Markov-Prozess zu behandeln und zu sehen, wie gut eine Lösung die nächste vorhersagt, und mit zufälligen Daten zu vergleichen, um zu sehen, wie lange die längsten Streifen aufeinanderfolgender Lösungen unter dem Median der letzten liegen 100 sind und vergleichen mit dem, was in zufälligen Daten usw. zu erwarten wäre. Ich bin mir nicht sicher, wie aufschlussreich diese Tests sein würden, und frage mich, ob es einige gut entwickelte Ansätze für diese Art von Problem gibt.

Mark Eichenlaub
quelle

Antworten:

8

Der Wald-Wolfowitz-Lauftest scheint ein möglicher Kandidat zu sein, bei dem ein "Lauf" das ist, was Sie als "Streifen" bezeichnet haben. Es sind dichotome Daten erforderlich, sodass Sie jede Lösung gemäß einem bestimmten Schwellenwert als "schlecht" oder "gut" kennzeichnen müssen - wie die von Ihnen vorgeschlagene mittlere Zeit. Die Nullhypothese lautet, dass sich "gute" und "schlechte" Lösungen zufällig abwechseln. Eine einseitige alternative Hypothese, die Ihrer Intuition entspricht, ist, dass "gute" Klumpen in langen Streifen zusammenklumpen, was bedeutet, dass es weniger Läufe als erwartet mit zufälligen Daten gibt. Teststatistik ist die Anzahl der Läufe. In R:

> N      <- 200                          # number of solves
> DV     <- round(runif(N, 15, 30), 1)   # simulate some uniform data
> thresh <- median(DV)                   # threshold for binary classification

# do the binary classification
> DVfac <- cut(DV, breaks=c(-Inf, thresh, Inf), labels=c("good", "bad"))
> Nj    <- table(DVfac)                  # number of "good" and "bad" solves
> n1    <- Nj[1]                         # number of "good" solves
> n2    <- Nj[2]                         # number of "bad" solves
> (runs <- rle(as.character(DVfac)))     # analysis of runs
Run Length Encoding
lengths: int [1:92] 2 1 2 4 1 4 3 4 2 5 ...
values : chr [1:92] "bad" "good" "bad" "good" "bad" "good" "bad" ...

> (nRuns <- length(runs$lengths))        # test statistic: observed number of runs
[1] 92

# theoretical maximum of runs for given n1, n2
> (rMax <- ifelse(n1 == n2, N, 2*min(n1, n2) + 1))
199 

Wenn Sie nur wenige Beobachtungen haben, können Sie die genauen Wahrscheinlichkeiten für jede Anzahl von Läufen unter der Nullhypothese berechnen. Andernfalls kann die Verteilung der "Anzahl der Läufe" durch eine Standardnormalverteilung angenähert werden.

> (muR  <- 1 + ((2*n1*n2) / N))                     # expected value
100.99 

> varR  <- (2*n1*n2*(2*n1*n2 - N)) / (N^2 * (N-1))  # theoretical variance
> rZ    <- (nRuns-muR) / sqrt(varR)                 # z-score
> (pVal <- pnorm(rZ, mean=0, sd=1))                 # one-sided p-value
0.1012055

Der p-Wert steht für die einseitige alternative Hypothese, dass "gute" Lösungen in Streifen auftreten.

Karakal
quelle
3
Gute Antwort. Ich würde jedoch nur ungern eine kontinuierliche Variable in eine binäre umwandeln. Eine Menge bedeutender Variabilität würde verloren gehen.
Jeromy Anglim
@jeromy - dies ist im Allgemeinen ein guter Punkt, aber es scheint, dass für diese spezielle Frage das Binning nicht viele Informationen wegwirft - zumal "gut" und "schlecht" nur als Dichotomie in der Frage definiert werden, nicht als Kontinuum.
Wahrscheinlichkeitslogik
@probabilityislogic Ich verstehe, dass @mark die Lösungszeit möglicherweise als "gut" oder "schlecht" operationalisiert hat, je nachdem, auf welcher Seite eines bestimmten Schwellenwerts die Lösungszeit liegt. Wo immer sich die Schwelle befindet, ist sie sicherlich etwas willkürlich. Wenn der Schwellenwert 5 Minuten wäre, würden sich 5 Minuten und 1 Sekunde sicherlich nicht wesentlich von 4 Minuten und 59 Sekunden in "Güte" unterscheiden. Ich stelle mir vor, dass "gut" und "schlecht" unscharfe Kategorien in Bezug auf die kontinuierliche Fertigstellungszeit sind.
Jeromy Anglim
Aber jede Definition von "gut" und "schlecht" ist willkürlich - wegen der relativen Natur dieser Wörter. Ob Sie "die Daten" die Mehrdeutigkeit auflösen lassen oder ob Sie sie selbst auflösen, macht sie nicht mehr oder weniger mehrdeutig. Und es kann sein, dass eine so scharfe Unterscheidung gerechtfertigt ist - wenn Sie weniger als 5 Minuten benötigen, um sich für das Finale eines Wettbewerbs zu qualifizieren. Ich bin sicher, der Richter lässt sich nicht von Argumenten der Art beeinflussen, "aber es waren nur 2 Sekunden außerhalb der Qualifikationszeit"
Wahrscheinlichkeitslogik
5

Ein paar Gedanken:

  • Zeichnen Sie die Verteilung der Zeiten. Ich vermute, dass sie positiv verzerrt sind, so dass einige Lösungszeiten sehr langsam sind. In diesem Fall möchten Sie möglicherweise ein Protokoll oder eine andere Transformation der Lösungszeiten in Betracht ziehen.

  • Erstellen Sie ein Streudiagramm des Versuchs auf der x-Achse und der Lösungszeit (oder protokollieren Sie die Lösungszeit auf der y-Achse). Dies sollte Ihnen ein intuitives Verständnis der Daten vermitteln. Es kann neben dem "heißen Streifen" auch andere Arten von Trends aufdecken.

  • Überlegen Sie, ob sich im Laufe der Zeit ein Lerneffekt ergibt. Bei den meisten Rätseln wird das Üben schneller. Die Handlung soll Aufschluss darüber geben, ob dies der Fall ist. Ein solcher Effekt unterscheidet sich von einem "Hot Streak" -Effekt. Dies führt zu einer Korrelation zwischen Versuchen, da beim ersten Lernen langsame Versuche zusammen mit anderen langsamen Versuchen auftreten und mit zunehmender Erfahrung schnellere Versuche zusammen mit schnelleren Versuchen auftreten.

  • Betrachten Sie Ihre konzeptionelle Definition von "heißen Streifen". Gilt dies beispielsweise nur für Versuche, die zeitlich in der Nähe liegen oder sich auf die Nähe der Ordnung beziehen. Angenommen, Sie haben den Würfel am Dienstag schnell gelöst und dann eine Pause eingelegt. Am nächsten Freitag haben Sie ihn schnell gelöst. Ist das ein heißer Streifen oder zählt es nur, wenn Sie es am selben Tag tun?

  • Gibt es andere Effekte, die sich von einem Hot-Streak-Effekt unterscheiden könnten? ZB die Tageszeit, zu der Sie das Rätsel lösen (z. B. Müdigkeit), inwieweit Sie sich tatsächlich anstrengen? usw.

  • Sobald die alternativen systematischen Effekte verstanden wurden, können Sie ein Modell entwickeln, das so viele wie möglich enthält. Sie können den Rest auf der y-Achse und den Versuch auf der x-Achse zeichnen. Dann können Sie sehen, ob die Residuen im Modell Autokorrelationen aufweisen. Diese Autokorrelation würde einige Hinweise auf heiße Streifen liefern. Eine alternative Interpretation ist jedoch, dass es einen anderen systematischen Effekt gibt, den Sie nicht ausgeschlossen haben.

Jeromy Anglim
quelle
+1 für systematischen Teil. Ich denke in diesem Fall ist es die beste Erklärung für die Leistungsschwankungen.
mpiktas
2
Vielleicht möchten Sie sehen, wie Forscher diese Frage untersucht haben. Ein Klassiker ist Gilovich, T., Vallone, R. & Tversky, A., Die heiße Hand im Basketball: Über die falsche Wahrnehmung zufälliger Sequenzen. Cognitive Psychology 17, 295 & ndash; 314 (1985).
dmk38
2

Berechnen Sie das Korrelogramm für Ihren Prozess. Wenn Ihr Prozess Gauß'sch ist (wie es in Ihrer Stichprobe aussieht), können Sie Unter- / Obergrenzen (B) festlegen und prüfen, ob die Korrelationen bei gegebener Verzögerung signifikant sind. Eine positive Autokorrelation bei Verzögerung 1 würde auf das Vorhandensein von "Glücksstreifen" hinweisen.


quelle
2
Eine positive Autokorrelation kann auch aus anderen systematischen Effekten wie einem Lernprozess resultieren. Ich denke, es ist wichtig, solche Effekte zu entfernen, bevor die Autokorrelation als Beweis für einen "heißen Streifen" interpretiert wird.
Jeromy Anglim