Lineare Unabhängigkeit vs. statistische Unabhängigkeit (PCA und ICA)

8

Ich lese dieses interessante Papier über die Anwendung von ICA auf Genexpressionsdaten.

Die Autoren schreiben:

[T] Hier ist es nicht erforderlich, dass PCA-Komponenten statistisch unabhängig sind.

Das stimmt, aber die PCs sind orthogonal, nicht wahr?

Ich bin ein bisschen verschwommen, was die Beziehung zwischen statistischer Unabhängigkeit und Orthogonalität oder linearer Unabhängigkeit ist.

Es ist anzumerken, dass ICA zwar auch eine lineare Zerlegung der Datenmatrix bereitstellt, das Erfordernis der statistischen Unabhängigkeit jedoch impliziert, dass die Datenkovarianzmatrix im Gegensatz zu PCA, bei der die Dekorrelation linear durchgeführt wird, nichtlinear dekorreliert wird.

Das verstehe ich nicht Wie ergibt sich aus der statistischen Unabhängigkeit ein Mangel an Linearität?

Frage: Wie hängt die statistische Unabhängigkeit von Komponenten in ICA mit der linearen Unabhängigkeit von Komponenten in PCA zusammen?

Januar
quelle

Antworten:

10

Dies ist wahrscheinlich ein Duplikat einiger älterer Fragen, aber ich werde sie dennoch kurz beantworten.

Für eine nicht-technische Erklärung finde ich diese Abbildung aus dem Wikipedia-Artikel über Korrelation und Abhängigkeit sehr hilfreich :

Geben Sie hier die Bildbeschreibung ein

Die Zahlen über jedem Streudiagramm zeigen Korrelationskoeffizienten zwischen X und Y. Schauen Sie sich die letzte Zeile an: In jedem Streudiagramm ist die Korrelation Null, dh X und Y sind "linear unabhängig". Sie sind jedoch offensichtlich statistisch nicht unabhängig: Wenn Sie den Wert von X kennen, können Sie die möglichen Werte von Y eingrenzen. Wenn X und Y unabhängig wären, würde dies bedeuten, dass das Wissen über X nichts über Y aussagt.

Der Zweck von ICA besteht darin, zu versuchen, unabhängige Komponenten zu finden. In PCA erhalten Sie nur unkorrelierte ("orthogonale") Komponenten. Die Korrelation zwischen ihnen ist Null, aber sie können sehr gut statistisch abhängig sein.

Amöbe
quelle
2
Ah! (Handfläche) OK, irgendwie habe ich angefangen, die ICA zu sezieren und habe das Offensichtliche nicht gesehen. Vielen Dank! Ich benutze das gleiche Beispiel, wenn ich anderen das gleiche Problem erkläre ...
Januar
1
Wir neigen dazu, "Orthogonalität" mit "Nullkorrelation" gleichzusetzen, aber dies gilt nur, wenn eine der beteiligten Variablen einen Mittelwert von Null hat.
Alecos Papadopoulos
2
@Alecos, das ist richtig (+1), aber Analysen wie PCA oder ICA werden fast immer für zentrierte Variablen durchgeführt, sodass diese Unterscheidung nicht relevant ist.
Amöbe
1
In der Tat ist das das Problem im Allgemeinen. In der Ökonometrie wird Orthogonalität hauptsächlich in Bezug auf den "Fehlerterm" einer Regression diskutiert, die einen Mittelwert von Null hat, und daher wird sie auch hier tendenziell mit "Null-Kovarianz" gleichgesetzt. Menschen laufen also Gefahr, zu vergessen, dass sie im Allgemeinen nicht gleich sind, und nehmen dies möglicherweise fälschlicherweise in einer Situation an, in der die Variablen nicht auf ihren Mittelwert zentriert sind.
Alecos Papadopoulos
Ich stieß auf einen Satz: "Obwohl nicht korreliert, können die Hauptkomponenten statistisch stark abhängig sein". Ist es nach Ihrer Antwort vernünftig, dies folgendermaßen zu verstehen: Wenn wir wissen, was ein PC ist, können wir etwas über einen anderen PC erzählen?
Camillejr