Warum verwendet die Rekonstruktion in Autoencodern dieselbe Aktivierungsfunktion wie die Vorwärtsaktivierung und nicht die umgekehrte?

Angenommen, Sie haben eine Eingabeebene mit n Neuronen und die erste verborgene Ebene hat Neuronen, typischerweise m < n . Dann berechnen Sie die Aktivierung a j des j- ten Neurons in der verborgenen Schicht durch$m$$m < n$$a_j$$j$

, wobei f eine Aktivierungsfunktion wie tanh oder sigmoid ist .$a_j = f\left(\sum\limits_{i=1..n} w_{i,j} x_i+b_j\right)$$f$$\tanh$$\text{sigmoid}$

Um das Netzwerk zu trainieren, berechnen Sie die Rekonstruktion der mit bezeichneten Eingabe und minimieren den Fehler zwischen z und x . Nun wird das i- te Element in z typischerweise wie folgt berechnet:$z$$z$$x$$i$$z$

$z_i = f\left ( \sum\limits_{j=1..m} w_{j,i}' a_j+b'_i \right)$

Ich frage mich, warum die rekonstruierten normalerweise mit derselben Aktivierungsfunktion berechnet werden, anstatt die Umkehrfunktion zu verwenden, und warum getrennte w ' und b ' nützlich sind, anstatt gebundene Gewichte und Verzerrungen zu verwenden. Es erscheint mir viel intuitiver, die mit der inversen Aktivierungsfunktion f - 1 , z. B. arctanh , rekonstruierte wie folgt zu berechnen :$z$$w'$$b'$$f^{-1}$$\text{arctanh}$

Es ist zu beachten, dass hier gebundene Gewichte verwendet werden, dh , und die Vorspannungen b j der verborgenen Schicht verwendet werden, anstatt einen zusätzlichen Satz von Vorspannungen für die Eingabeschicht einzuführen.$w' = w^T$$b_j$

Und eine sehr verwandte Frage: Um Merkmale zu visualisieren, anstatt die Rekonstruktion zu berechnen, würde man normalerweise eine Identitätsmatrix mit der Dimension der verborgenen Schicht erstellen. Dann würde man jede Spalte der Matrix als Eingabe für eine Reaktivierungsfunktion verwenden, die eine Ausgabe in den Eingangsneuronen induziert. Wäre es für die Reaktivierungsfunktion besser, dieselbe Aktivierungsfunktion (bzw. das ) oder die Umkehrfunktion (bzw. das z ' i ) zu verwenden?$z_i$$z'_i$

Ich glaube nicht, dass Ihre Annahme gilt. Oder eher ist es nicht notwendig, und wenn es getan wird, ist es nicht, um die Berechnung irgendwie automatisch umzukehren, um die verborgenen Ebenen-Features zu erstellen. Es ist im Allgemeinen nicht möglich, die Komprimierung im Allgemeinen von n zu kleiner m direkt auf diese Weise umzukehren. Wenn das das Ziel wäre, würden Sie eine Form der Matrixinversion wollen, keine einfache Transponierung.$w' = w^T$

Stattdessen möchten wir nur für die komprimierte übergeordnete Feature-Darstellung und verwerfen w ' i j, nachdem der automatische Encoder abgeschlossen ist.$w_{ij}$$w'_{ij}$

Sie können einstellen und die Gewichte binden. Dies kann bei der Regularisierung helfen und dem Autoencoder helfen, zu verallgemeinern. Das ist aber nicht nötig.$w' = w^T$

Damit der Autoencoder funktioniert, spielt es keine Rolle, welche Aktivierungsfunktion Sie nach der Ebene verwenden, die Sie vor dem Training verwenden, vorausgesetzt, die letzte Ebene des Autoencoders kann den Bereich möglicher Eingaben ausdrücken. Je nach Verwendung können jedoch unterschiedliche Ergebnisqualitäten erzielt werden, wie dies für ein neuronales Netzwerk normal ist.

Es ist durchaus sinnvoll, dieselbe Aktivierungsfunktion zu verwenden, für die Sie die vorab trainierte Ebene erstellen, da dies die einfachste Wahl ist.

Die Verwendung einer Umkehrfunktion ist ebenfalls möglich, für Sigmoid oder Tanh jedoch nicht ratsam, da z. B. Arctanh nicht <-1 oder> 1 definiert ist und daher wahrscheinlich nicht numerisch stabil wäre.