Statistische Signifikanz von zeitlichen Änderungen an einem 5-Punkte-Likert-Objekt

9

Kontext:

Ich habe zwei Datensätze aus demselben Fragebogen, die über zwei Jahre laufen. Jede Frage wird anhand einer 5-Likert-Skala gemessen.

Q1: Codierungsschema

Im Moment habe ich meine Antworten in einem Intervall von [0, 1] codiert, wobei 0 "negativste Antwort", 1 "positivste Antwort" und andere gleichmäßig verteilte Antworten bedeuten.

  • Was ist das "beste" Codierungsschema für die Likert-Skala?

Mir ist klar, dass dies etwas subjektiv sein könnte.

F2: Bedeutung über Jahre hinweg

  • Wie lässt sich am besten feststellen, ob sich in den beiden Jahren statistisch signifikante Veränderungen ergeben?

Wenn ich mir die Ergebnisse für Frage 1 für jedes Jahr anschaue, wie kann ich feststellen, ob der Unterschied zwischen dem Ergebnis 2011 und dem Ergebnis 2010 statistisch signifikant ist? Ich habe eine vage Erinnerung daran, dass der T-Test des Schülers hier von Nutzen ist, bin mir aber nicht sicher.

Mac
quelle

Antworten:

7

1. Codierungsschema

Bei der Beurteilung der statistischen Signifikanz mit einem T-Test sind die relativen Abstände zwischen den Skalenpunkten von Bedeutung. Somit ist (0, 0,25, 0,5, 0,75, 1) äquivalent zu (1, 2, 3, 4, 5). Nach meiner Erfahrung ist ein Codierungsschema mit gleichem Abstand, wie das zuvor erwähnte, am gebräuchlichsten und erscheint für Likert-Artikel vernünftig. Wenn Sie die optimale Skalierung untersuchen, können Sie möglicherweise ein alternatives Codierungsschema ableiten.

2. Statistischer Test

Die Frage, wie Gruppenunterschiede bei einem Likert-Artikel bewertet werden können, wurde hier bereits beantwortet .

Die erste Frage ist, ob Sie Beobachtungen über die beiden Zeitpunkte hinweg verknüpfen können. Es hört sich so an, als hättest du ein anderes Sample. Dies führt zu einigen Optionen:

  • T-Test für unabhängige Gruppen : Dies ist eine einfache Option. Es werden auch Unterschiede in den Gruppenmitteln getestet. Puristen werden argumentieren, dass der p-Wert möglicherweise nicht ganz genau ist; Abhängig von Ihren Zwecken kann dies jedoch angemessen sein.
  • Bootstrap-Test von Unterschieden in Gruppenmitteln : Wenn Sie immer noch Unterschiede zwischen Gruppenmitteln testen möchten, sich aber mit der diskreten Natur abhängiger Variablen nicht wohl fühlen, können Sie mithilfe eines Bootstraps Konfidenzintervalle generieren, aus denen Sie Rückschlüsse auf Änderungen der Gruppenmittel ziehen können .
  • Mann-Whitney-U-Test (neben anderen nichtparametrischen Tests): Ein solcher Test setzt keine Normalität voraus, testet aber auch eine andere Hypothese.
Jeromy Anglim
quelle
Kurz gesagt, sehen Sie nichts Falsches an dem, was ich vorgeschlagen habe (Codierung gleicher Entfernung, Signifikanztest für T-Tests), außer dass es andere Optionen gibt, die möglicherweise genauer sind?
Mac
@Mac Meiner Meinung nach ist es aus einer angewandten Perspektive ein einfacher, leicht verständlicher, leicht zu kommunizierender und allgemein vernünftiger Ansatz. Oft lohnt es sich jedoch, interessierende Konstrukte anhand von Skalen und nicht anhand einzelner Elemente zu messen.
Jeromy Anglim
einverstanden. Ich glaube jedoch, dass dies für das, was ich brauche, ausreichen wird. Danke vielmals!
Mac
nur um zu beachten, dass der t-Test sehr empfindlich auf Unterschiede in der Varianz reagieren kann, so dass dies wahrscheinlich etwas zu überprüfen wäre, bevor Sie Ihre endgültige Entscheidung treffen
richiemorrisroe
@Mac / cc @richiemorrisroe Abgesehen von der Homoskedastizitätsannahme (die mit dem Welch-t-Test etwas umgangen wird) besteht das Problem meiner Ansicht nach hauptsächlich in asymmetrischen Antwortverteilungen (Decken- oder Bodeneffekt), die häufig bei der Verwendung von Likert-Elementen auftreten.
Chl
3

Der Wilcoxon-Ranksum-Test alias Mann-Whitney ist der richtige Weg für Ordnungsdaten. Die Bootstrapping-Lösung ist auch elegant, wenn auch nicht der "klassische" Weg. Die Bootstrapping-Methode kann auch nützlich sein, wenn Sie andere Dinge wie die Faktoranalyse anstreben. Im Falle einer Regressionsanalyse können Sie geordnetes Probit oder geordnetes Logit als Modellspezifikation auswählen.

Übrigens: Wenn Ihre Skala einen größeren Bereich hat (> 10 Werte pro Variable), können Sie die Ergebnisse als metrische Variable verwenden, was einen T-Test zu einer sicheren Wahl macht. Seien Sie darauf hingewiesen, dass dies ein wenig schmutzig ist und von einigen als Teufelsarbeit angesehen werden kann.

stephan


quelle
1
Könnten Sie näher erläutern, wie Bootstrap einen interessanteren Ansatz für die Faktoranalyse bieten würde?
Chl
Ich würde gerne mehr darüber erfahren, warum der Mann-Whitney-Test hier einem T-Test vorgezogen wird.
whuber