EFA unterstützt eindeutig einen Faktor, die Maßnahme ist intern konsistent, aber CFA passt schlecht?

9

Ich untersuche die psychometrischen Eigenschaften einer 10-Punkte-Selbstberichtsmaßnahme. Ich habe ungefähr 400 Fälle in zwei unabhängigen Proben. Die Gegenstände werden auf 4-Punkte-Likert-Skalen vervollständigt. Eine EFA unterstützt eindeutig eine Ein-Faktor-Lösung (z. B. erster Eigenwert über 6, alle anderen unter 1) und Cronbachs Alpha ist gut (z. B. 0,90). Kein Artikel hat eine geringe Korrelation zwischen Artikel und Gesamtmenge.

Ich wollte ursprünglich ein CFA durchführen (EFA war nur ein Follow-up, nachdem ich gesehen hatte, dass CFA nicht gut ist) und ein Ein-Faktor-Modell testen. Zu meiner Überraschung war die Passform für das Modell relativ schlecht:

CFI=.91
TLI=.88
RMSEA=.13

Darüber hinaus ist die Beladung für jeden Gegenstand recht gut (.65+).

Seltsamerweise ist das SRMR=.05, was akzeptabel / gut ist.

Änderungsindizes deuten darauf hin, dass ich Fehler überall korreliere. Wenn es einen klaren Grund dafür gäbe (z. B. haben einige der Punkte einen sehr ähnlichen Wortlaut), würde ich dies tun; Alle Kennzahlen sind jedoch ähnlich formuliert, und die Korrelation aller Fehlerbegriffe wäre seltsam und schmerzhaft.

Ich habe noch nie einen solchen Fall gesehen. Die Maßnahme ist intern konsistent und besteht eindeutig aus einem Faktor in der EFA, weist jedoch eine schlechte Anpassung an die CFA auf. Die Ergebnisse sind in beiden unabhängigen Stichproben (aus verschiedenen Kontinenten) kongruent. Ich habe einen Zwei-Faktor-CFA (gruppiert 5 zufällige Elemente) ausprobiert und die Passform war gleich oder sogar geringfügig besser.

Hier sind meine Fragen:

  1. Warum ist die Anpassung gemäß CFI / TLI / RMSEA angesichts der Alpha / Faktor-Belastungen von EFA / Cronbach so schlecht?
  2. Warum ist der SRMR gut, während die anderen Indizes dies nicht tun? Ich weiß, dass sie verschiedene Dinge messen, aber meiner Erfahrung nach konvergieren sie fast immer.
  3. Sollte ich einige der Fehler korrelieren?

Beispielartikel:

  • Sie haben Gedanken über Ihre Mängel
  • Sie haben Gedanken, die schwer zu vergessen sind
  • Sie denken die ganze Zeit über die Situation nach
Behacad
quelle

Antworten:

9

Das ist ziemlich normal.

CFA ist ein viel strengeres Kriterium als EFA. EFA versucht, Ihre Daten zu beschreiben, aber CFA testet, ob das Modell korrekt ist.

Ein Grund für die Nichtkonvergenz sind niedrige durchschnittliche Korrelationen (aber dann würde ich erwarten, dass RMSEA besser ist). Der Chi-Quadrat-Test ist im Wesentlichen ein Test, bei dem Ihre Residuen gleich Null sind und RMSEA, TLI und CFI Transformationen des Tests sind.

Die Anpassung ist in einer Zwei-Faktor-Lösung immer besser als in einer Ein-Faktor-Lösung (sie sind verschachtelt).

Noch ein paar Fragen: Wie groß war Ihre Stichprobe? Was ist die durchschnittliche Korrelation? Was ist Chi-Quadrat und df, was ist das Chi-Quadrat des Nullmodells?

Sollten Sie korrelierte Fehler hinzufügen? Vielleicht, aber wenn Sie das tun, führen Sie zusätzliche Faktoren ein. Bei einer solchen Passform müssen Sie möglicherweise viel hinzufügen, und dann kommt es zu einem Durcheinander - es ist am besten, wenn sie in irgendeiner Weise gerechtfertigt sind. Zum Beispiel geht es bei Ihrem zweiten und dritten Punkt um aufdringliche Gedanken - das könnte eine Rechtfertigung sein.

Jeremy Miles
quelle
1
Die Probengröße beträgt ungefähr 400 in jeder Probe. Auf welche durchschnittliche Korrelation beziehen Sie sich? Chi-Quadrat im Modell ist 262,9, df = 35.
Behacad
Was ist die Alternative zur Ein-Faktor-Lösung? Die EFA schlägt eindeutig einen Faktor vor, so dass es ungewöhnlich erscheint, nach einer alternativen Lösung zu fischen. Wir haben nur die 10 Artikel, daher können wir keine Artikel hinzufügen. Wir könnten Gegenstände entfernen, aber alle Ladungen / Korrelationen sind stark!
Behacad
Die durchschnittliche Korrelation ist der Durchschnitt der Korrelationen in der Matrix. Wenn die Korrelationen alle 0,3 sind, unterscheidet sich dies von 0,8 (sagen wir). Wenn Sie verzweifelt nach einer guten Passform suchen, würde ich Gegenstände entfernen. Verwenden Sie Mplus? Sie könnten esem tun, wenn Sie sind.
Jeremy Miles
Ich benutze AMOS.
Behacad
Versuchen Sie eine Maximum-Likelihood-Extraktion in SPSS - das sollte Ihnen das gleiche (oder sehr ähnliche) Chi-Quadrat für einen einzelnen Faktor geben.
Jeremy Miles