Was sind die Unterschiede zwischen PCA und Autoencoder?

Sowohl PCA als auch Autoencoder können die Demension reduzieren. Was ist also der Unterschied zwischen ihnen? In welcher Situation sollte ich einen über einen anderen setzen?

PCA ist auf eine lineare Karte beschränkt, während Auto-Encoder nichtlineare Enoder / Decoder haben können.

Ein einschichtiger Auto-Encoder mit linearer Übertragungsfunktion entspricht nahezu PCA. Dies bedeutet, dass das von AE und PCA gefundene fast nicht dasselbe ist - der von den jeweiligen aufgespannte Unterraum jedoch.$W$$W$

Wie bayerj hervorhebt, ist PCA eine Methode, die lineare Systeme voraussetzt, während dies bei Autoencodern (AE) nicht der Fall ist. Wenn im AE keine nichtlineare Funktion verwendet wird und die Anzahl der Neuronen in der verborgenen Schicht kleiner ist als die des Eingangs, können PCA und AE das gleiche Ergebnis liefern. Andernfalls findet die AE möglicherweise einen anderen Unterraum.

Zu beachten ist, dass die verborgene Ebene in einer AE eine größere Dimension aufweisen kann als die Eingabe. In solchen Fällen führen AEs möglicherweise keine Dimensionsreduzierung durch. In diesem Fall verstehen wir sie als Transformation von einem Merkmalsraum in einen anderen, wobei die Daten im neuen Merkmalsraum Variationsfaktoren entwirren.

In Bezug auf Ihre Frage, ob mehrere Ebenen eine sehr komplexe, nichtlineare Antwort auf bayerj bedeuten. Je nachdem, was Sie unter "sehr komplex, nicht linear" verstehen, könnte dies zutreffen. Die Tiefe bietet jedoch eine bessere Verallgemeinerung. Viele Verfahren erfordern eine gleiche Anzahl von Abtastwerten, die der Anzahl von Regionen entspricht. Es stellt sich jedoch heraus, dass "eine sehr große Anzahl von Regionen, z. B. , mit -Beispielen definiert werden kann ", gemäß Bengio et al . Dies ist ein Ergebnis der Komplexität der Darstellung, die sich aus dem Zusammensetzen niedrigerer Merkmale aus niedrigeren Schichten im Netzwerk ergibt.O ( N $O(2^N)$$O(N)$

Dies ist besser als Kommentar geeignet, aber da mir der Ruf dafür fehlt, wird es als Antwort gegeben.

Ich bin etwas verwirrt mit dem Gedanken, beinahe in bayerjs Antwort zu sein. Lesen neuronaler Netze und Hauptkomponentenanalyse: Lernen aus Beispielen ohne lokale Minima, in denen der Beweis erbracht wird.

'' Im autoassoziativen Fall ... und daher ist die eindeutige lokal und global optimale Karte W die orthogonale Projektion auf den Raum, der von den ersten Eigenvektoren von '' Σ X $p$$\Sigma_{XX}$

Ist das dann nicht genau der von PCA überspannte Korrespondenzraum?

$\{\mathbf{x}_i \in \mathbb{R}^n \}_{i=1}^N$$N$ $n-$$X$$\mathbf{x}_1,\dots,\mathbf{x}_N$

$\hat{\mathbf{x}}$$W_1\in \mathbb{R}^{n \times m}$$W_2\in \mathbb{R}^{m \times n}$$m < n$

$m$$W_2$$m$$X$

$W_2$$m$$X$$X$$n \times N$$W_2$$m\times n$$W_2$$O(m^2n)$$X$$O(n^2N)$$m < n$