Ich entwickle einen Fragebogen. Um seine Zuverlässigkeit und Gültigkeit zu verbessern, möchte ich statistische Methoden anwenden.
Ich möchte Fragen streichen, deren Antworten immer gleich sind. Dies bedeutet, dass fast alle Teilnehmer die gleichen Antworten auf diese Fragen gaben.
Jetzt sind meine Fragen:
- Was ist der Fachbegriff für solche nutzlosen Fragen, deren Antworten unabhängig vom Verwendungskontext immer gleich sind?
- Was sind Methoden, um solche Fragen zu identifizieren?
Antworten:
Sowohl die klassische Testtheorie (CTT) als auch die Item-Response-Theorie (IRT) können Hinweise geben, welche Items zu dem latenten Merkmal beitragen, das Sie messen möchten, und welche nicht. Berücksichtigen Sie bei CTT 1) Schwierigkeitsgrad des Gegenstands, 2) Korrelation des Gegenstands mit der Gesamtpunktzahl, 3) Varianz des Gegenstands und 4) Auswirkungen auf interne Konsistenzschätzungen (z. B. Cronbachs Alpha), wenn der Gegenstand entfernt wird.
Zu leichte oder zu schwierige Gegenstände helfen in der Regel nicht, das Motiv zu trennen (Unterscheidung zwischen Highscorern und Lowscorern). Wenn Sie nicht daran interessiert sind, die Unterschiede zwischen den Leistungsträgern zu messen, sollten sehr schwierige Fragen für die Entfernung in Betracht gezogen werden. In ähnlicher Weise sind sehr einfache Gegenstände nur dann geeignet, wenn Sie an der Leistung von Leistungsträgern interessiert sind.
Alle Elemente sollten positiv mit der Gesamtpunktzahl korrelieren, und Sie können eine Untergrenze für diese Korrelation von etwa 0,20 als Richtwert festlegen. Geringe Korrelationen oder negative Korrelationen können darauf hinweisen, dass Ihr Fragebogen Formulierungsprobleme aufweist und die Frage umgekehrt bewertet werden sollte.
Elemente mit geringer Varianz (Variabilität der Bewertungen) sollten für die Entfernung berücksichtigt werden, da sie keine Themen trennen und nicht zu den aus der Umfrage gesammelten Informationen beitragen. Elemente mit sehr hoher Varianz messen möglicherweise etwas anderes als das Konstrukt / Merkmal, das Sie messen möchten.
Wenn sich die Schätzung der internen Konsistenz mit dem entfernten Artikel verbessert, sollte der Artikel zum Entfernen in Betracht gezogen oder umformuliert werden.
Gegenstände, die jeder richtig macht, sind manchmal maximale Gegenstände, und diejenigen, die jeder falsch macht, werden manchmal als minimale Gegenstände bezeichnet. Sie tragen nicht zu den Informationen bei, die Sie sammeln möchten.
Wenn Sie einen Fragebogen mit hohem Einsatz entwickeln oder den Fragebogen vermarkten möchten, sollten Sie auf jeden Fall IRT in Betracht ziehen. Es ist jedoch ein großes Themengebiet und es lohnt sich wahrscheinlich nicht, darauf einzugehen, es sei denn, Sie sind wirklich interessiert.
Hoffe das hilft.
quelle
Ich glaube, was Sie suchen, ist Item Response Theory. Die "nutzlosen" Fragen, auf die Sie sich beziehen, sind Punkte mit geringer Diskriminierung. Mithilfe der IRT-Analyse können Sie die Diskriminierung, den Schwierigkeitsgrad und die damit verbundene Wahrscheinlichkeit der Einschätzung von Elementen durch die Umfrageteilnehmer berechnen. Das R-Programm hat ein einfaches Paket für die Verwendung von IRT, und ich kann mir vorstellen, dass andere Statistik-Software-Pakete dies auch tun.
Wenn Sie sich einen schnellen Überblick verschaffen möchten, finden Sie hier die Wikipedia-Seite. Ich empfehle jedoch, mehr darüber zu erfahren. http://en.wikipedia.org/wiki/Item_response_theory
quelle