d prime mit 100% Trefferquote und 0% Fehlalarmwahrscheinlichkeit

Ich möchte d prime für eine Speicheraufgabe berechnen , bei der alte und neue Elemente erkannt werden. Das Problem, das ich habe, ist, dass einige der Probanden eine Trefferquote von 1 und / oder eine Fehlalarmquote von 0 haben, wodurch die Wahrscheinlichkeiten 100% bzw. 0% betragen.

Die Formel für d prime lautet d' = z(H) - z(F), wobei z(H)und z(F)die z-Transformationen der Trefferquote bzw. des Fehlalarms sind.

Zur Berechnung der z-Transformation verwende ich die Excel-Funktion NORMSINV (dh z(H)=NORMSINV(hit rate)). Wenn jedoch die Trefferquote oder die Fehlalarmquote 1 bzw. 0 beträgt, gibt die Funktion einen Fehler zurück. Dies liegt daran, dass die z-Transformation meines Wissens den Bereich unter der ROC-Kurve angibt, der mathematisch keine Wahrscheinlichkeit von 100% oder 0% zulässt. In diesem Fall bin ich mir nicht sicher, wie ich d 'für die Probanden mit Deckenleistung berechnen soll.

Eine Website schlägt vor, die Rate 1 und 0 durch 1 - 1 / (2N) und 1 / 2N zu ersetzen, wobei N die maximale Anzahl von Treffern und Fehlalarmen ist. Auf einer anderen Website heißt es: "Weder H noch F können 0 oder 1 sein (wenn ja, leicht nach oben oder unten anpassen)." Dies scheint willkürlich. Hat jemand eine Meinung dazu oder möchte mich auf die richtigen Ressourcen hinweisen?

Stanislaw & Todorov (1999) haben eine gute Diskussion darüber unter der Überschrift Treffer- und Fehlalarmraten von Null oder Eins .

Sie diskutieren die Vor- und Nachteile verschiedener Methoden für den Umgang mit diesen Extremwerten, darunter:

• Verwenden Sie eine nicht parametrische Statistik wie anstelle von (Craig, 1979).d $A'$$d'$

• Aggregieren Sie Daten von mehreren Probanden, bevor Sie die Statistik berechnen (Macmillan & Kaplan, 1985).

• Addiere 0,5 sowohl zur Anzahl der Treffer als auch zur Anzahl der Fehlalarme und addiere 1 sowohl zur Anzahl der Signalversuche als auch zur Anzahl der Rauschversuche. nannte den loglinearen Ansatz (Hautus, 1995)

• Passen Sie nur die Extremwerte an, indem Sie die Raten 0 durch und die Raten 1 durch ersetzen, wobei die Anzahl der Signal- oder Rauschversuche ist (Macmillan & Kaplan, 1985).( n - 0,5 ) / n $0.5/n$$(n-0.5)/n$$n$

Die Wahl liegt letztendlich bei Ihnen. Persönlich bevorzuge ich den dritten Ansatz. Der erste Ansatz hat den Nachteil, dass für Ihre Leser, die mit viel besser vertraut sind, weniger interpretierbar ist . Der zweite Ansatz ist möglicherweise nicht geeignet, wenn Sie an Einzelverhalten interessiert sind. Der vierte Ansatz ist voreingenommen, weil Sie Ihre Datenpunkte nicht gleich behandeln.d $A'$$d'$

Beide Websites schlagen dasselbe vor, aber eine bietet eine Möglichkeit, den Umfang der Anpassung konsistent auszuwählen. Dies wurde einer Reihe von Leuten zugeschrieben, aber ich glaube nicht, dass jemand weiß, wer wirklich zuerst darauf gekommen ist. Verschiedene Felder haben ein unterschiedliches Buch oder einen unterschiedlichen Autor für die Signalerkennung. Wichtig ist, dass die von Ihnen ausgewählte Methode angemessen ist.

Die eine Methode, die Sie normalerweise veröffentlicht haben, impliziert, dass Sie bei einem viel größeren Satz von Elementen (2N) mindestens einen Fehler hätten erkennen können. Wenn dies eine vernünftige Möglichkeit ist, über das Problem nachzudenken, sind Sie fertig. Ich bezweifle, dass es sich um einen Gedächtnistest handelt. In Zukunft möchten Sie möglicherweise N erhöhen, um sicherzustellen, dass dies viel weniger wahrscheinlich ist. Trotzdem ist die Methode heilbar, wenn Sie sie anders betrachten. Sie passen einen hypothetischen Durchschnitt von zwei Läufen mit der gleichen Anzahl von Speicherelementen an. In diesem Fall sagen Sie, dass in einem anderen Durchlauf des Experiments (vorausgesetzt, neue Elemente oder sie haben alle alten vergessen) ein Fehler aufgetreten wäre. Oder einfacher gesagt, Sie wählen nur die Hälfte zwischen der höchsten unvollständigen Punktzahl, die Sie messen können, und einer perfekten Punktzahl.

Dies ist ein Problem ohne einfache universelle Lösung. Die erste Frage, die Sie stellen müssen, ist, ob Sie glauben, in Ihrem Fall eine wirklich perfekte Klassifizierung zu haben. In diesem Fall sind Ihre Daten Ihre Daten. Wenn nicht, dann glauben Sie, dass es nur eine Variabilität in der Stichprobe ist, die dazu führt, dass die Treffer 100% betragen. Sobald Sie zu dem Schluss kommen, dass dies der Fall ist, müssen Sie vernünftige Möglichkeiten in Betracht ziehen, um eine Schätzung dessen zu erstellen, was Sie für d 'halten. Und so muss man sich fragen, was es eigentlich ist.

Der einfachste Weg, um zu bestimmen, was d 'sein soll, besteht darin, die anderen Daten in demselben Zustand zu betrachten. Sie könnten vielleicht schätzen, dass die Genauigkeit für diesen einen Teilnehmer auf halbem Weg zwischen dem nächstbesten Wert, den Sie haben, und 100% liegt (was sich möglicherweise als genau der Wert herausstellt, den Sie gefunden haben). Oder es könnte eine sehr kleine Menge größer sein. Oder es könnte einfach den besten Werten entsprechen. Sie müssen anhand Ihrer Daten auswählen, welche Ihrer Meinung nach die beste Antwort ist. Eine spezifischere Frage könnte Ihnen hier helfen.

Sie sollten versuchen, sicherzustellen, dass Sie das Kriterium so wenig wie möglich beeinflussen. In Ihrem Fall führt eine Anpassung an Treffer und FAs dazu, dass sich das Kriterium überhaupt nicht verschiebt. Wenn Sie jedoch Treffer anpassen, wenn beispielsweise FAs = 0,2, müssen Sie vorsichtig sein, wie sich diese Anpassung auf die Interpretation des Kriteriums auswirkt. In diesem Fall sind Sie verpflichtet, sicherzustellen, dass die Treffer sehr hoch sind.