Was machen die ersten

Bei der Hauptkomponentenanalyse sind die ersten Hauptkomponenten die $k$$k$ orthogonalen Richtungen mit der maximalen Varianz. Mit anderen Worten, die erste Hauptkomponente wird als Richtung der maximalen Varianz gewählt, die zweite Hauptkomponente wird als Richtung orthogonal zur ersten mit der maximalen Varianz gewählt und so weiter.

Gibt es eine ähnliche Interpretation für die Faktoranalyse? Ich denke zum Beispiel, dass die ersten Faktoren die Faktoren sind, die die nicht -diagonalen Komponenten der ursprünglichen Korrelationsmatrix am besten erklären (im Sinne eines quadratischen Fehlers zwischen der ursprünglichen Korrelationsmatrix und der durch definierten Korrelationsmatrix) Faktoren). Ist das wahr (oder gibt es etwas Ähnliches, das wir sagen können)?$k$

PCA ist in erster Linie eine Datenreduktionstechnik, bei der das Ziel darin besteht, eine Projektion von Daten auf einen Raum mit niedrigeren Dimensionen zu erhalten. Zwei äquivalente Ziele bestehen darin, entweder die Varianz iterativ zu maximieren oder den Rekonstruktionsfehler zu minimieren. Dies wird in einigen Details in den Antworten auf diese vorherige Frage herausgearbeitet .

Im Gegensatz dazu ist in erster Linie ein Faktoranalyse generatives Modell eines - dimensionalen Datenvektor X von selbst , dass X = A S + ε wo S das ist q dimensionale Vektor von latenten Faktoren, A ist p × k mit k < p , und ε ist ein Vektor der unkorrelierten Fehler. Die A- Matrix ist die Matrix der Faktorladungen . Dies ergibt eine spezielle Parametrisierung der Kovarianzmatrix als Σ = A A T + $p$$X$

$$X = AS + \epsilon$$ $S$$q$$A$$p \times k$$k < p$$\epsilon$$A$ $$\Sigma = AA^T + D$$ Das Problem bei diesem Modell ist, dass es überparametrisiert ist. Dasselbe Modell wird erhalten, wenn für eine beliebige k × k- Orthogonalmatrix R durch A R ersetzt wird , was bedeutet, dass die Faktoren selbst nicht eindeutig sind. Es gibt verschiedene Vorschläge zur Lösung dieses Problems, aber es gibt keine einzige Lösung, die Ihnen Faktoren für die Art der Interpretation vorgibt, nach der Sie fragen. Eine beliebte Wahl ist die Varimax- Rotation. Das verwendete Kriterium bestimmt jedoch nur die Rotation. Der von A aufgespannte Spaltenraum ändert sich nicht, und da dies Teil der Parametrisierung ist, wird er durch die Methode bestimmt, die zur Schätzung von $A$$AR$$k \times k$$R$$A$$\Sigma$ - Mit maximaler Wahrscheinlichkeit in einem Gaußschen Modell, sagen wir.

Um die Frage zu beantworten, werden die ausgewählten Faktoren nicht automatisch anhand eines Faktorenanalysemodells angegeben, sodass es keine einzelne Interpretation der ersten Faktoren gibt. Sie müssen die Methode zur Schätzung (des Spaltenraums von) A und die Methode zur Auswahl der Rotation angeben . Wenn D = σ 2 I (alle Fehler haben die gleiche Varianz), ist die MLE-Lösung für den Spaltenraum von A der Raum, der durch das führende $k$$A$$D = \sigma^2 I$$A$$q$ Hauptkomponentenvektoren aufgespannt wird, die durch eine Singularwertzerlegung gefunden werden können. Es ist natürlich möglich, diese Hauptkomponentenvektoren nicht zu drehen und als Faktoren zu melden.

Bearbeiten: Um zu betonen, wie ich es sehe, ist das Faktoranalysemodell ein Modell der Kovarianzmatrix als eine Rang- Matrix plus eine Diagonalmatrix. Ziel des Modells ist es daher, die Kovarianz mit einer solchen Struktur auf der Kovarianzmatrix am besten zu erklären . Die Interpretation ist, dass eine solche Struktur auf der Kovarianzmatrix mit einem nicht beobachteten k- dimensionalen Faktor kompatibel ist. Leider können die Faktoren nicht eindeutig wiederhergestellt werden, und wie sie innerhalb des Satzes möglicher Faktoren ausgewählt werden können, bezieht sich in keiner Weise auf die Erklärung der Daten. Wie bei PCA kann man die Daten im Voraus standardisieren und so ein Modell anpassen, das versucht, die Korrelationsmatrix als Rang k plus eine Diagonalmatrix zu erklären . $k$$k$$k$

@RAEGTIN, ich glaube, dass du richtig denkst. Nach der Extraktion und der vorherigen Rotation ist jeder nachfolgende Faktor für immer weniger Kovariation / Korrelation verantwortlich, ebenso wie jede nachfolgende Komponente immer weniger Varianz ausmacht: In beiden Fällen gehen die Spalten einer Ladematrix A in die Fallreihenfolge von Summe der quadrierten Elemente (Ladungen) in ihnen. Die Belastung ist die Korrelation zwischen Faktor und Variable. daher kann man sagen, dass der 1. Faktor den größten Teil des "gesamten" Quadrats r in der R- Matrix erklärt, der 2. Faktor hier der zweite usw. Der Unterschied zwischen FA und PCA bei der Vorhersage von Korrelationen durch Belastungen ist jedoch wie folgt: FA wird "kalibriert", um R wiederherzustellenganz fein mit nur m extrahierten Faktoren (m Faktoren <p Variablen), während PCA unhöflich darin ist, es durch m Komponenten wiederherzustellen, - es benötigt alle p Komponenten, um R ohne Fehler wiederherzustellen .

PS Nur um hinzuzufügen. In FA "besteht" ein Ladewert aus sauberer Kommunalität (ein Teil der Varianz, der für die Korrelation verantwortlich ist), während in PCA eine Ladung eine Mischung aus Kommunalität und Einheitlichkeit der Variablen ist und daher die Variabilität erfasst.