Beratung zum wissenschaftlich fundierten Skalenbau

8

Ich habe einen Satz von 20 Likert-Items (von 1-5, Stichprobengröße n = 299) im Bereich der Organisationsforschung erhalten. Die Elemente sollen ein latentes Konzept messen, das von Natur aus mehrdimensional, facettenreich und heterogen ist. Ziel ist es, eine oder mehrere Skalen zu erstellen, mit denen verschiedene Organisationen analysiert und in der logistischen Regression verwendet werden können. Nach der amerikanischen Vereinigung für Psychologie sollte eine Skala (1) eindimensional, (2) zuverlässig und (3) gültig sein.

Aus diesem Grund haben wir uns entschieden, vier Dimensionen oder Subskalen mit jeweils 4/6/6/4 Elementen auszuwählen. die angenommen werden, um das Konzept darzustellen.

Die Elemente werden unter Verwendung des reflektierenden Ansatzes konstruiert (viele mögliche Elemente werden generiert und Elemente werden iterativ unter Verwendung von Cronbachs Alpha- und Konzeptdarstellung (Gültigkeit) in drei nachfolgenden Gruppen gelöscht).

Unter Verwendung der verfügbaren Daten ergab eine vorläufige parallele Analyse des erklärenden Faktors auf der Grundlage polychoraler Korrelationen und der Verwendung der Varimax-Rotation, dass Elemente andere Faktoren als erwartet belasten. Es gibt mindestens 7 latente Faktoren im Gegensatz zu vier hypothetischen. Die durchschnittliche Korrelation zwischen den Elementen ist recht gering (r = 0,15), wenn auch positiv. Der Cronbach-Alpha-Koeffizient ist für jede Skala ebenfalls sehr niedrig (0,4-0,5). Ich bezweifle, dass eine Bestätigungsfaktoranalyse eine gute Modellanpassung ergeben würde.

Wenn zwei Dimensionen entfernt würden, wäre das Cronbachs-Alpha akzeptabel (0,76,0,7 mit 10 Elementen pro Skala, die mit der ordinalen Version von Cronbachs-Alpha noch vergrößert werden könnten), aber die Skalen selbst wären immer noch mehrdimensional!

Da ich neu in der Statistik bin und nicht über die entsprechenden Kenntnisse verfüge, weiß ich nicht, wie ich weiter vorgehen soll. Da ich es ablehne, die Skala (n) vollständig zu verwerfen und mich einem beschreibenden Ansatz zu widersetzen, habe ich verschiedene Fragen:

I) Ist es falsch, Skalen zu verwenden, die zuverlässig, gültig, aber nicht eindimensional sind?

II) Wäre es angemessen, das Konzept anschließend als formativ zu interpretieren und den Test auf verschwindende Tetraden zu verwenden, um die Modellspezifikation zu bewerten und partielle kleinste Quadrate (PLS) zu verwenden, um zu einer möglichen Lösung zu gelangen? Schließlich scheint das Konzept eher prägend als reflektierend zu sein.

III) Wäre die Verwendung der Item-Response-Modelle (Rasch, GRM usw.) von Nutzen? Wie ich gelesen habe, brauchen die Rasch-Modelle usw. auch die Annahme Eindimensionalität

IV) Wäre es angemessen, die 7 Faktoren als neue "Subskalen" zu verwenden? Verwerfen Sie einfach die alte Definition und verwenden Sie eine neue, die auf Faktorladungen basiert.

Ich würde mich über Gedanken dazu freuen :)

BEARBEITEN: Faktorladungen und Korrelationen hinzugefügt

> fa.res$fa
Factor Analysis using method =  ml
Call: fa.poly(x = fl.omit, nfactors = 7, rotate = "oblimin", fm = "ml") 

Faktorladungen, die aus der Faktormustermatrix und der Faktor-Interkorrelationsmatrix berechnet wurden, werden nur Werte über 0,2 angezeigt

Faktorladungen

Jack Shade
quelle
3
Ein Vorschlag, den ich machen kann, ist, dass Sie keine Varimax-Rotation (oder eine andere Rotation, die orthogonale Faktoren voraussetzt) ​​verwenden sollten. Es ist viel besser, eine schräge Rotation wie direkte Quartimin zu verwenden. Erstens ist es nicht klar , warum die zugrunde liegenden Faktoren müssen orthogonal sein; Zweitens können Sie mit schrägen Methoden die Faktorkorrelationen abschätzen. und drittens, wenn die Faktoren orthogonal sind, liefert eine schräge Drehung grundsätzlich die gleichen Ergebnisse wie Varimax. Wenn andererseits die zugrunde liegenden Faktoren nicht orthogonal sind, kann Varimax gefährlich fehlerhafte Ergebnisse liefern.
Gung - Reinstate Monica
Gute Frage und Sie scheinen auf einem "guten Weg" zu sein. Warum veröffentlichen Sie Ihre Faktorladungen und Inter-Faktor-Korrelationen nicht, nachdem Sie den intelligenten Ratschlägen von @gung gefolgt sind? Dies sollte den Menschen helfen, die Dimensionalität Ihrer Artikel zu bestimmen. (Aber was meinen Sie mit "paralleler erklärender Faktoranalyse"? Vielleicht explorative Faktoranalyse unter Verwendung paralleler Analyse, um die Anzahl der Faktoren zu wählen?) Übrigens sind es die Skalen, die Sie erstellen, die "Likert-Skalen" sind; Es ist nicht korrekt, Elemente als "Likert-Elemente" zu bezeichnen, es sei denn, sie wurden einem von Ihnen beschriebenen Vorgang unterzogen.
Rolando2
3
Eine weitere Überlegung ist, dass es typischerweise einen Kompromiss zwischen der internen Konsistenz einer Skala (gemessen an Cronbachs Alpha) und ihrer Gültigkeit gibt (wie durch die Breite der behandelten Themen angezeigt). Eine perfekte interne Konsistenz ist natürlich nicht wünschenswert, da wir unsere Zeit mit vielen redundanten Fragen verschwendet haben. Und eine zu breite Abdeckung bedeutet, dass die Skala zu viele Dinge misst und keines davon gründlich. Die APA-Richtlinien tendieren wahrscheinlich zu weit, um die interne Konsistenz zu fördern, aber Sie müssen sich selbst für Ihren bevorzugten Kompromiss einsetzen.
Rolando2
@ rolando2 Ja, ich meinte explorative Faktoranalyse mit paralleler Analyse, um die Anzahl der Faktoren zu wählen!
Jack Shade
2
Kein Problem. Es hört sich so an, als hätte @ rolando2 mehr Erfahrung mit diesen Problemen als ich und es sieht so aus, als wären Sie auf dem Weg. Ich sollte mich von ihm weiterführen lassen, aber ich werde noch eines erwähnen, das durch Ihre Figur veranlasst wird: Es wird allgemein empfohlen, keine Faktoren zu verwenden, es sei denn, sie werden von mindestens 3 Messgrößen unterstützt. Einige von Ihnen scheinen jedoch nur 2 oder 1 zu haben. Möglicherweise möchten Sie mehr Elemente finden, die hauptsächlich auf diese Faktoren geladen werden, um deren Zuverlässigkeit zu erhöhen, oder diese Elemente und Faktoren löschen.
Gung - Reinstate Monica

Antworten:

1

Ich gehe davon aus, dass der Zweck Ihrer Analyse darin besteht, Beweise für die Gültigkeit Ihrer Waage / Ihres Instruments zu erhalten. Daher wurde Ihr Instrument zunächst auf der Grundlage von 4 hypothetischen Konstrukten entworfen. Daher sollten Sie dies mithilfe einer Bestätigungsfaktoranalyse (CFA) angehen. Die explorative Faktoranalyse (EFA) ist geeignet, wenn es keine A-priori-Theorie gibt, die die Beziehung zwischen beobachteten Variablen (dh Elementen) und Konstrukten beschreibt, und kann zu nicht interpretierbaren Faktoren führen, wie Sie hier sehen.

Überprüfen Sie dann die Ergebnisse Ihres CFA-Modells. Die verschiedenen Anpassungsstatistiken (z. B. X ^ 2, RMSEA, Änderungsindizes, Waldteststatistiken) können Sie durch die Verfeinerung Ihres Modells führen.

Wenn Sie einen explorativeren Ansatz bevorzugen, ziehen Sie auch die "Rückwärtssuche" in Betracht: Chou CP, Bentler, PM (2002). Modellmodifikation bei der Modellierung von Strukturgleichungen durch Auferlegen von Einschränkungen, Computational Statistics & Data Analysis, 41, (2), 271-287.

allinonemove
quelle
4

Eine schwierige Situation. Die Faktoren 6, 4 und 7 scheinen ziemlich robust gemessen zu sein, aber nicht die anderen, und ich wette, dass die interne Konsistenz für die Faktoren 1, 3 und 5 gering sein wird. Ist es überhaupt möglich, die Zuverlässigkeit durch eine andere Methode zu bewerten, wie z als Interrater rel.? Oder um die Validität durch eine andere Methode als die Konstruktvalidität durch Faktoranalyse zu bewerten? Selbst wenn verschiedene Skalen (oder einzelne Elemente) auf unterschiedliche Weise validiert werden - manchmal müssen Sie alles nehmen, was Sie können.

Auf jeden Fall konnte ich sehen, wie ich v6 und v17 einzeln verwendete. Warum sie in eine Skala mit mehreren Elementen zwingen, wenn die Ladungen und Korrelationen so aussehen?

Und selbst angesichts dessen, was ich oben über die Gültigkeit der Berichterstattung gesagt habe, stimme ich zu, dass Sie Ihre eventuellen Regressionsprädiktoren so gut wie eindimensional halten möchten - zumal Sie eine große Anzahl von Prädiktoren haben, da das Wasser bei mehrdimensionalen Variablen sehr, sehr schlammig wird . Dies ist besonders relevant, da Sie anscheinend eher einen erklärenden als einen rein prädiktiven Modus verwenden (Sie kümmern sich um die Kausalität).

rolando2
quelle
Ja, ich kümmere mich um die Kausalität der Konstrukt / Element-Beziehungen, weil es auch den formativen Ansatz gibt, der im Grunde sagt: "Wir haben diese 20 Elemente und sie bilden das Konstrukt" im Gegensatz zu "das Konstrukt existiert und es muss von jedem reflektiert werden Einzelstücke". Der formative Ansatz würde die Notwendigkeit hoher Elementkorrelationen und Eindimensionalität beseitigen. Die Interpretation wäre jedoch schwierig. Trotzdem vielen Dank!
Jack Shade
Wie würde ein prädiktiverer Ansatz aussehen?
Jack Shade