Ich frage mich, in welchen Situationen es vorteilhaft ist, LSTMs zu stapeln?
machine-learning
neural-network
deep-learning
lstm
Vadim Smolyakov
quelle
quelle
Antworten:
Ab Was sind die Vorteile des Stapelns mehrerer LSTMs? (Ich werde nur die Antwort dort aktualisieren):
quelle
Eine Situation, in der es vorteilhaft ist, LSTMs zu stapeln, besteht darin, die hierarchische Darstellung unserer Zeitreihendaten zu lernen. In gestapelten LSTMs gibt jede LSTM-Schicht eine Folge von Vektoren aus, die als Eingabe für eine nachfolgende LSTM-Schicht verwendet werden. Diese Hierarchie von verborgenen Ebenen ermöglicht eine komplexere Darstellung unserer Zeitreihendaten und die Erfassung von Informationen in verschiedenen Maßstäben.
Beispielsweise können gestapelte LSTMs verwendet werden, um die Genauigkeit bei der Zeitreihenklassifizierung zu verbessern, z. B. bei der Aktivitätsvorhersage, bei der Herzfrequenz, Schrittzahl, GPS und andere Signale zur Vorhersage von Aktivitäten wie Gehen, Laufen, Radfahren verwendet werden können. Treppensteigen oder Ausruhen. Ein Beispiel für die Klassifizierung von Zeitreihen mit gestapelten LSTMs mithilfe von EEG-Daten finden Sie im folgenden ipython-Notizbuch .
quelle
In Sequenz zu Sequenzmodell: Die Aufgabe des Encoder-Netzwerks besteht darin, die Eingangssequenz in unser Seq2Seq-Modell einzulesen und einen festdimensionalen Kontextvektor C für die Sequenz zu generieren. Zu diesem Zweck verwendet der Codierer eine wiederkehrende neuronale Netzwerkzelle - normalerweise ein LSTM -, um die Eingabetoken nacheinander zu lesen. Der endgültige verborgene Zustand der Zelle wird dann zu C. Da es jedoch so schwierig ist, eine Sequenz beliebiger Länge in einen einzigen Vektor fester Größe zu komprimieren (insbesondere für schwierige Aufgaben wie die Übersetzung), besteht der Codierer normalerweise aus gestapelten LSTMs : Eine Reihe von LSTM- "Layern", bei denen die Ausgänge jedes Layers die Eingangssequenz zum nächsten Layer sind. Der verborgene LSTM-Status der letzten Ebene wird als Kontextvektor verwendet.
quelle