Erkennung von Betrugsmustern bei einer Prüfung mit mehreren Fragen

FRAGE:

Ich habe Binärdaten zu Prüfungsfragen (richtig / falsch). Einige Personen hatten möglicherweise zuvor Zugriff auf eine Untergruppe von Fragen und ihre richtigen Antworten. Ich weiß nicht wer, wie viele oder welche. Wenn es kein Schummeln gäbe, nehme ich an, ich würde die Wahrscheinlichkeit einer korrekten Antwort für Item als , wobei die Schwierigkeit der Frage darstellt und die latente Fähigkeit des Individuums ist. Dies ist ein sehr einfaches Item-Response-Modell, das mit Funktionen wie ltm's rasch () in R geschätzt werden kann. Zusätzlich zu den Schätzungen (wobei Individuen indiziert) der latenten Variablen habe ich Zugriff auf separate Schätzungen $i$ $logit((p_i = 1 | z)) = \beta_i + z$ $\beta_i$ $z$ $\hat{z}_j$ $j$ $\hat{q}_j$ derselben latenten Variablen, die von einem anderen Datensatz abgeleitet wurden, in dem Betrug nicht möglich war.

Das Ziel ist es, Personen zu identifizieren, die wahrscheinlich betrogen haben, und die Gegenstände, an denen sie betrogen haben. Welche Ansätze könnten Sie verfolgen? Zusätzlich zu den Rohdaten sind , und verfügbar, obwohl die ersten beiden aufgrund von Betrug eine gewisse Verzerrung aufweisen. Idealerweise würde die Lösung in Form einer probabilistischen Clusterbildung / Klassifizierung vorliegen, obwohl dies nicht erforderlich ist. Praktische Ideen sind ebenso willkommen wie formale Ansätze. $\hat{\beta}_i$ $\hat{z}_j$ $\hat{q}_j$

Bisher habe ich die Korrelation von Fragen-Scores für Paare von Personen mit höheren vs. niedrigeren Scores verglichen (wobei ist) ein grober Index der Wahrscheinlichkeit, dass sie betrogen haben). Zum Beispiel sortierte ich Individuen nach und zeichnete dann die Korrelation aufeinanderfolgender Paare von Individuenfragewerten auf. Ich habe auch versucht, die mittlere Korrelation von Scores für Personen zu deren -Werte größer als das Quantil von als eine Funktion von . Keine offensichtlichen Muster für beide Ansätze. $\hat{q}_j -\hat{z}_j$ $\hat{q}_j - \hat{z}_j$ $\hat{q}_j - \hat{z}_j$ $\hat{q}_j - \hat{z}_j$ $n^{th}$ $\hat{q}_j - \hat{z}_j$ $n$

AKTUALISIEREN:

Am Ende kombinierte ich Ideen von @SheldonCooper und dem hilfreichen Freakonomics- Artikel, auf den @whuber mich zeigte. Andere Ideen / Kommentare / Kritik sind willkommen.

Sei die binäre Punktzahl von Person in Frage . Schätzen Sie den des Item-Antwortmodells wobei der Einfachheitsparameter des Items und eine latente Fähigkeitsvariable ist. (Ein komplizierteres Modell kann eingesetzt werden; I ‚m eine 2PL in meiner Anwendung verwenden). Wie ich in meinem ursprünglichen Beitrag erwähnt, ich habe Schätzungen der Fähigkeit , Variable von einem separaten Daten - Set (verschiedene Einzelteile, gleiche Personen) auf Insbesondere sind empirische Bayes-Schätzungen aus demselben Item-Response-Modell wie oben. $X_{ij}$ $j$ $i$

l o g i t (P r (X_{i j} = 1 | z_{j}) = β_{i} + z_{j},

$logit(Pr(X_{ij} = 1 | z_j) = \beta_i + z_j,$

β_{i}

$\beta_i$

z_{j}

$z_j$

\hat{q_{j}}

$\hat{q_j }$

{y_{i j}}

$\{y_{ij}\}$

\hat{q_{j}}

$\hat{q_j}$

Die Wahrscheinlichkeit der beobachteten Punktzahl , abhängig von der Leichtigkeit des Gegenstands und der Fähigkeit der Person, kann wie geschrieben werden: wobei die vorhergesagte Wahrscheinlichkeit von ist eine korrekte Antwort, und ist das inverse Logit. Dann ist, abhängig von den Eigenschaften des Gegenstands und der Person, die gemeinsame Wahrscheinlichkeit, dass die Person die Beobachtungen hat, und in ähnlicher Weise die gemeinsame Wahrscheinlichkeit, dass der Gegenstand die Beobachtungen hat $x_{ij}$

p_{ich j} = P r (X_{ich j} = x_{ich j} | \hat{β_{ich}}, \hat{q_{j}}) = P_{ich j} (\hat{β_{ich}}, \hat{q_{j}})^{x_{ich j}} (1 - P_{ich j} (\hat{β_{ich}}, \hat{q_{j}}))^{1 - x_{ich j}},

$p_{ij} = Pr(X_{ij} = x_{ij} | \hat{\beta_i }, \hat{q_j }) = P_{ij}(\hat{\beta_i }, \hat{q_j })^{x_{ij}} (1 - P_{ij}(\hat{\beta_i }, \hat{q_j }))^{1-x_{ij}},$

P_{i j} (\hat{β_{i}}, \hat{q_{j}}) = i l o g i t (\hat{β_{i}} + \hat{q_{j}})

$P_{ij}(\hat{\beta_i }, \hat{q_j }) = ilogit(\hat{\beta_i} + \hat{q_j})$

i l o g i t

$ilogit$

j

$j$

x_{j}

$x_j$

p_{j} = \prod_{ich} p_{ich j},

$p_j = \prod_i p_{ij},$

i

$i$

x_{i}

$x_i$ istPersonen mit den niedrigsten Werten sind diejenigen, deren beobachtete Werte bedingt am unwahrscheinlichsten sind - sie sind möglicherweise Betrüger. Elemente mit den niedrigsten Werten sind diejenigen, die bedingt am wenigsten wahrscheinlich sind - es handelt sich um die möglichen durchgesickerten / gemeinsam genutzten Elemente. Dieser Ansatz basiert auf den Annahmen, dass die Modelle korrekt sind und dass die Bewertungen der Person unkorreliert sind, abhängig von den Eigenschaften der Person und des Gegenstands. Eine Verletzung der zweiten Annahme ist jedoch nicht problematisch, solange der Grad der Korrelation nicht zwischen Personen variiert und das Modell für leicht verbessert werden kann (z. B. durch Hinzufügen zusätzlicher Personen- oder Artikeleigenschaften).

p_{ich} = \prod_{j} p_{ich j} .

$p_i = \prod_j p_{ij}.$

p_{j}

$p_j$

p_{j}

$p_j$

j

$j$

p_{i j}

$p_{ij}$

Ein zusätzlicher Schritt, den ich versucht habe, besteht darin, r% der am wenigsten wahrscheinlichen Personen (dh Personen mit dem niedrigsten r% der sortierten p_j-Werte) zu nehmen und den mittleren Abstand zwischen ihren beobachteten Werten x_j zu berechnen (der für Personen mit niedrigem r korreliert werden sollte, wer sind mögliche Betrüger), und zeichnen Sie es für r = 0,001, 0,002, ..., 1.000. Der mittlere Abstand steigt für r = 0,001 auf r = 0,025, erreicht ein Maximum und fällt dann bei r = 1 langsam auf ein Minimum ab. Nicht genau das, was ich mir erhofft hatte.

r clustering classification psychometrics abgesperrt
quelle

Dies ist ein schwieriges Problem, da Sie nur sehr wenige Informationen über die Art des Betrugs haben. Wie unterscheidet man einen Betrüger von einem Schüler, der besonders hart studiert hat? Ohne weitere Informationen können Sie nicht. Eine Möglichkeit ist, wenn Schüler durch gegenseitiges Abschreiben schummeln können oder wenn Untergruppen von Schülern Zugriff auf dieselben Antworten hatten. In diesem Fall können Sie eine Distanzfunktion zwischen den Schülern erstellen (geringere Distanz bedeutet, dass sie bei denselben Fragen gut abschneiden) und hier nach Mustern suchen. Dies wäre schlüssiger IMO.

RM999

Levitt und Dubner beschreiben ihren Ansatz in Freakonomics ( freakonomicsmedia.com ).

Whuber

@ rm999 Zur Verdeutlichung hatten Betrüger Zugriff auf die gleiche Teilmenge von Fragen (z. B. ein Teilantwortschlüssel wurde vor der Prüfungsverwaltung durchgesickert). Ich bin nicht an Betrug interessiert, der durch das Kopieren entstanden sein könnte. Ich werde meine Frage über das Wochenende überarbeiten, wenn dies unklar ist.

gesperrt

@whuber Danke, ich werde das Papier nachschlagen (vorausgesetzt, es ist veröffentlicht). Ich habe mir das Hörbuch angehört, kann mich aber nicht an die Details erinnern, wie sie Betrüger identifiziert haben (die Lehrer waren, die, glaube ich, die Antworten der Schüler verfälscht haben).

gesperrt

Wenn ich mich an den Fall Freakonomics erinnere, handelte es sich um das Erkennen von Kindern in derselben Schule / Klasse, die (a) große Leistungssprünge im Vergleich zum Vorjahr hatten, (b) unterschiedliche Antworten auf die früheren leichteren Fragen und (c) identische Folgen von Antworten auf spätere, schwierigere Fragen, die darauf hindeuten, dass ein Lehrer Antworten ausfüllt, die die Kinder freigelassen hatten.

Henry

Antworten:

Ad-hoc-Ansatz

Ich würde davon ausgehen, dass einigermaßen zuverlässig ist, da es von vielen Schülern geschätzt wurde, von denen die meisten bei Frage nicht geschummelt haben . Sortieren Sie die Fragen für jeden Schüler nach zunehmendem Schwierigkeitsgrad und berechnen Sie (beachten Sie, dass $\beta_i$ $i$ $j$ $\beta_i + q_j$ $q_j$ ist nur ein konstanter Offset) und schwelle ihn an einer vernünftigen Stelle ein (zB p (korrekt) <0,6). Dies ergibt eine Reihe von Fragen, die der Schüler wahrscheinlich nicht richtig beantworten wird. Sie können jetzt Hypothesentests verwenden, um festzustellen, ob dies verletzt ist. In diesem Fall hat der Schüler wahrscheinlich betrogen (vorausgesetzt natürlich, Ihr Modell ist korrekt). Eine Einschränkung ist, dass Sie möglicherweise nicht genügend Daten für den Test haben, um zuverlässig zu sein, wenn es nur wenige solcher Fragen gibt. Ich glaube auch nicht, dass es möglich ist, festzustellen, auf welche Frage er geschummelt hat, da er immer eine 50% ige Chance hat, zu raten. Wenn Sie jedoch zusätzlich davon ausgehen, dass viele Schüler Zugriff auf dieselben Fragen hatten (und diese betrogen haben), können Sie diese zwischen den Schülern vergleichen und feststellen, welche Fragen häufiger als zufällig beantwortet wurden.

Sie können einen ähnlichen Trick mit Fragen machen. Dh für jede Frage sortieren Sie die Schüler nach , addieren Sie (dies ist jetzt ein konstanter Versatz) und den Schwellenwert mit einer Wahrscheinlichkeit von 0,6. Auf diese Weise erhalten Sie eine Liste der Schüler, die diese Frage möglicherweise nicht richtig beantworten können. Sie haben also eine Chance von 60% zu erraten. Führen Sie erneut Hypothesentests durch und prüfen Sie, ob dies verletzt wird. Dies funktioniert nur, wenn die meisten Schüler dieselbe Gruppe von Fragen betrogen haben (z. B. wenn eine Teilmenge der Fragen vor der Prüfung durchgesickert ist). $q_j$ $\beta_i$

Prinzipieller Ansatz

Für jeden Schüler gibt es eine binäre Variable mit einem Bernoulli vor einer geeigneten Wahrscheinlichkeit, die angibt, ob der Schüler ein Betrüger ist. Für jede Frage gibt es eine binäre Variable , die wiederum einige geeignete Bernoulli-Prioritäten enthält und angibt, ob die Frage durchgesickert ist. Dann gibt es eine Reihe von Binärvariablen , die angeben, ob Schüler die Frage richtig beantwortet hat . Wenn und , dann ist die Verteilung von Bernoulli mit einer Wahrscheinlichkeit von 0,99. Ansonsten ist die Distribution . Diese sind die beobachteten Variablen. $c_j$ $l_i$ $a_{ij}$ $j$ $i$ $c_j = 1$ $l_i = 1$ $a_{ij}$ $logit(\beta_i + q_j)$ $a_{ij}$ $c_j$ und sind versteckt und müssen abgeleitet werden. Du kannst es wahrscheinlich durch Gibbs Sampling machen. Möglicherweise sind aber auch andere Ansätze denkbar, etwa im Zusammenhang mit Biclustering. $l_i$

Sheldon Cooper
quelle

Ich habe den ersten Teil Ihrer Antwort gelesen und finde sie vielversprechend. Zwei kurze Notizen - dies war die Mehrfachauswahl, sodass die Wahrscheinlichkeiten für das richtige Erraten 25% oder 20% betragen. Sie haben insofern Recht, als wir davon ausgehen können, dass eine Teilmenge der Fragen vor der Prüfung durchgesickert ist. Ich werde am Sonntag oder Montag darauf zurückkommen.

gesperrt

Wenn Sie sich mit komplexeren Ansätzen befassen möchten, sollten Sie sich Modelle der Item-Response-Theorie ansehen. Sie können dann die Schwierigkeit jeder Frage modellieren. Schüler, die schwierige Dinge korrigiert und leichtere übersehen haben, betrügen wahrscheinlich eher als diejenigen, die das Gegenteil taten.

Es ist mehr als ein Jahrzehnt her, seit ich so etwas gemacht habe, aber ich denke, es könnte vielversprechend sein. Weitere Informationen finden Sie in den Büchern zur Psychometrie

Peter Flom - Wiedereinsetzung von Monica
quelle

In der Regel kann das Betrügen oder Erraten direkt in ein IRM integriert werden. Dies ist im Wesentlichen die Absicht eines 3-PL-Modells, da es einen Parameter für Schwierigkeit , Diskriminierung und Vermutung enthält, der als untere Asymptote für die Wahrscheinlichkeit der Bestätigung eines Artikels dient. Es hat sich jedoch in den meisten Situationen als unrealistisch erwiesen, und es wurden andere spezifische Statistiken zur körperlichen Fitness entwickelt (entweder in pädagogischen Tests oder in psychologischen Bewertungen). Meijer, Person-Fit-Forschung: Eine Einführung. APM (1996), 9: 3-8 hat einen guten Überblick über aberrante Antwortmuster.

Chl

@chl Danke! Ich habe dieses Zeug in der Grundschule gelernt, aber das ist lange her - meine letzte Klasse war 1996 oder so.

Peter Flom - Reinstate Monica

@chl Danke für deine Vorschläge. Das Modell in meiner Frage ist tatsächlich ein Item-Response-Modell (ein Rasch- oder 1PL-Modell mit festem Unterscheidungsparameter). Ich denke, der Vorschlag, Personen mit abweichender Leistung zu betrachten, ist ein guter Anfang, aber ich suche nach einem Ansatz, der die zusätzlichen Informationen nutzt, die durch die Korrelation der Antworten der Betrüger auf betrügerische Elemente entstehen. Sie können sich vorstellen, dass Betrüger, die wir bei Ihrem Verfahren zur Identifizierung von Betrügern verwendet haben, bei ähnlich schwierigen Gegenständen eine gute Leistung erbringen.