Bewertung der Zuverlässigkeit eines Fragebogens: Dimensionalität, problematische Elemente und Verwendung von Alpha, Lambda6 oder einem anderen Index?

Ich analysiere die Ergebnisse von Teilnehmern, die an einem Experiment teilgenommen haben. Ich möchte die Zuverlässigkeit meines Fragebogens einschätzen, der sich aus 6 Elementen zusammensetzt, um die Einstellung der Teilnehmer zu einem Produkt einzuschätzen.

Ich habe Cronbachs Alpha berechnet, indem ich alle Elemente als eine einzige Skala (Alpha war ungefähr 0,6) behandelte und jeweils ein Element löschte (maximales Alpha war ungefähr 0,72). Ich weiß, dass Alpha je nach Anzahl der Elemente und der Dimension des zugrunde liegenden Konstrukts unterschätzt und überschätzt werden kann. Also habe ich auch eine PCA durchgeführt. Diese Analyse ergab, dass drei Hauptkomponenten etwa 80% der Varianz erklärten. Bei meinen Fragen geht es also darum, wie ich jetzt vorgehen kann.

• Muss ich für jede dieser Dimensionen eine Alpha-Berechnung durchführen?
• Muss ich die Elemente entfernen, die die Zuverlässigkeit beeinträchtigen?

Bei der Suche im Internet habe ich außerdem festgestellt, dass es ein weiteres Maß an Zuverlässigkeit gibt: das Lambda6 von Guttman.

• Was sind die Hauptunterschiede zwischen dieser Kennzahl und Alpha?
• Was ist ein guter Wert für Lambda?

Ich denke, @Jeromy hat bereits das Wesentliche gesagt, also werde ich mich auf die Zuverlässigkeit konzentrieren.

Das Cronbach-Alpha ist ein stichprobenabhängiger Index, mit dem eine Untergrenze der Zuverlässigkeit eines Instruments ermittelt wird. Es ist nur ein Indikator für die Varianz, die alle bei der Berechnung einer Skalenbewertung berücksichtigten Elemente gemeinsam haben. Daher sollte es nicht mit einem absoluten Maß an Zuverlässigkeit verwechselt werden und gilt auch nicht für ein mehrdimensionales Instrument als Ganzes. In der Tat werden die folgenden Annahmen getroffen: (a) keine verbleibenden Korrelationen, (b) Gegenstände haben identische Beladungen und (c) der Maßstab ist eindimensional. Dies bedeutet, dass der einzige Fall, in dem Alpha der Zuverlässigkeit im Wesentlichen entsprichtist der Fall von gleichmäßig hohen Faktorladungen, keine Fehlerkovarianzen und eindimensionalen Instrumenten (1). Da die Genauigkeit vom Standardfehler der Interkorrelationen der Elemente abhängt, hängt sie von der Streuung der Elementkorrelationen ab. Dies bedeutet, dass Alpha diesen Korrelationsbereich unabhängig von der Quelle oder den Quellen dieses bestimmten Bereichs (z. B. Messfehler oder Mehrdimensionalität) widerspiegelt. Dieser Punkt wird in (2) ausführlich erörtert. Es ist anzumerken, dass, wenn Alpha 0,70 ist, eine weit verbreitete Zuverlässigkeitsschwelle für Gruppenvergleichszwecke (3,4), der Standardmessfehler über der Hälfte (0,55) einer Standardabweichung liegt. Darüber hinaus ist Cronbach alpha ein Maß für die interne Konsistenz, es ist kein Maß für Eindimensionalität und kann nicht verwendet werden, um auf Eindimensionalität zu schließen (5). Schließlich können wir LJ Cronbach selbst zitieren,

Koeffizienten sind ein grobes Gerät, das nicht viele Feinheiten an die Oberfläche bringt, die durch Varianzkomponenten impliziert werden. Insbesondere die in aktuellen Bewertungen vorgenommenen Interpretationen lassen sich am besten anhand eines Standardmessfehlers bewerten. --- Cronbach & Shavelson, (6)

Es gibt viele andere Fallstricke, die in den letzten 10 Jahren in mehreren Veröffentlichungen zum größten Teil diskutiert wurden (z. B. 7-10).

$\lambda_3$$\lambda_6$$\omega_t$$\omega_h$$\beta$

Verweise

1. Raykov, T. (1997). Skalenzuverlässigkeit, Cronbach-Koeffizient Alpha und Verletzungen der essentiellen Tau-Äquivalenz für feste kongenerische Komponenten. Multivariate Behavioral Research , 32, 329 & ndash; 354.
2. Cortina, JM (1993). Was ist Alpha-Koeffizient? Eine Untersuchung von Theorie und Anwendungen . Journal of Applied Psychology , 78 (1), 98-104.
3. JC Nunnally und IH Bernstein (1994). Psychometrische Theorie . McGraw-Hill-Reihe in Psychology, dritte Auflage.
4. De Vaus, D. (2002). Analyse sozialwissenschaftlicher Daten . London: Sage Publications.
5. Danes, JE und Mann, OK. (1984). Eindimensionale Mess- und Strukturgleichungsmodelle mit latenten Variablen. Journal of Business Research , 12, 337 & ndash; 352.
6. Cronbach, LJ und Shavelson, RJ (2004). Meine aktuellen Gedanken zu Koeffizienten Alpha und Nachfolgeprozeduren . Educational and Psychological Measurement , 64 (3), 391-418.
7. Schmitt, N. (1996). Gebrauch und Missbrauch von Alpha-Koeffizienten . Psychological Assessment , 8 (4), 350-353.
8. Iacobucci, D. und Duhachek, A. (2003). Alpha weiterentwickeln: Zuverlässigkeit mit Vertrauen messen . Journal of Consumer Psychology , 13 (4), 478-487.
9. Shevlin, M., Miles, JNV, Davies, MNO und Walker, S. (2000). Alpha-Koeffizient: Ein nützlicher Indikator für Zuverlässigkeit? Persönlichkeit und individuelle Unterschiede , 28, 229-237.
10. Fong, DYT, Ho, SY und Lam, TH (2010). Bewertung der internen Zuverlässigkeit bei inkonsistenten Antworten . Ergebnisse zu Gesundheit und Lebensqualität , 8, 27.
11. Guttman, L. (1945). Eine Basis für die Analyse der Zuverlässigkeit von Wiederholungsprüfungen. Psychometrika , 10 (4), 255 & ndash; 282.
12. $\alpha$$\beta$$\omega_h$
13. Revelle, W. und Zinbarg, RE (2009) Koeffizienten alpha, beta, omega und der glb: Kommentare zu Sijtsma . Psychometrika , 74 (1), 145 & ndash; 154

Hier einige allgemeine Kommentare:

• PCA : Die PCA-Analyse zeigt nicht, dass es drei Hauptkomponenten gibt. Sie haben sich entschieden, drei Dimensionen zu extrahieren, oder Sie haben sich auf eine Standard-Faustregel (normalerweise Eigenwerte über 1) gestützt, um zu entscheiden, wie viele Dimensionen extrahiert werden sollen. Außerdem extrahieren Eigenwerte über eins häufig mehr Dimensionen, als sinnvoll sind.
• Beurteilung der Dimensionalität von Gegenständen : Ich bin damit einverstanden, dass Sie PCA zur Beurteilung der Dimensionalität von Gegenständen verwenden können. Ich finde jedoch, dass ein Blick auf das Geröllplot eine bessere Orientierung für die Anzahl der Dimensionen bieten kann. Vielleicht möchten Sie diese Seite von William Revelle zur Bewertung der Skalendimensionalität lesen .
• Wie geht es weiter?
  • Wenn die Skala gut etabliert ist , können Sie sie unverändert lassen (vorausgesetzt, ihre Eigenschaften sind zumindest vernünftig; obwohl in Ihrem Fall 0,6 für die meisten Standards relativ schlecht ist).
  • Wenn die Skala nicht gut etabliert ist , sollten Sie theoretisch überlegen, was die Elemente messen sollen und für welchen Zweck Sie die resultierende Skala verwenden möchten. Angesichts der Tatsache, dass Sie nur sechs Artikel haben, haben Sie nicht viel Platz, um mehrere Skalen zu erstellen, ohne auf die besorgniserregende Anzahl von Artikeln pro Skala fallen zu müssen. Gleichzeitig ist es eine kluge Idee, zu prüfen, ob es problematische Elemente gibt, die entweder auf dem Boden, der Decke oder auf Problemen mit geringer Zuverlässigkeit beruhen. Möglicherweise möchten Sie auch prüfen, ob Positionen storniert werden müssen.
  • Ich habe einige Links zu allgemeinen Ressourcen zur Entwicklung von Maßstäben zusammengestellt, die Sie möglicherweise hilfreich finden

Die folgenden Adressen Ihre spezifischen Fragen:

• Muss ich für jede dieser Dimensionen eine Alpha-Berechnung durchführen?
  • Wie Sie der obigen Diskussion entnehmen können, sollten Sie Ihre Daten meines Erachtens nicht so behandeln, als hätten Sie drei Dimensionen. Es gibt eine Reihe von Argumenten, die Sie in Abhängigkeit von Ihren Zwecken und den Details vorbringen können. Daher ist es schwierig, genau zu sagen, was zu tun ist. In den meisten Fällen würde ich versuchen, mindestens eine gute Skala zu erstellen (möglicherweise ein Element zu löschen), anstatt drei unzuverlässige Skalen.
• Muss ich die Elemente entfernen, die die Zuverlässigkeit beeinträchtigen?
  • Es liegt an dir. Wenn die Skala festgelegt ist, können Sie dies ablehnen. Wenn Ihre Stichprobengröße klein ist, kann dies eine Anomalie der Zufallsstichprobe sein. Im Allgemeinen wäre ich jedoch geneigt, ein Element zu löschen, wenn Ihr Alpha wirklich von 0,72 auf 0,60 sinken würde. Ich würde auch prüfen, ob dieses problematische Element tatsächlich nicht rückgängig gemacht werden soll.

Ich überlasse die Diskussion von Lambda 6 (hier von William Revelle besprochen ) anderen.