Als «lstm» getaggte Fragen

Ein Long Short Term Memory (LSTM) ist eine neuronale Netzwerkarchitektur, die wiederkehrende NN-Blöcke enthält, die sich über einen beliebigen Zeitraum an einen Wert erinnern können.

35
Wie verhindert LSTM das Problem des Fluchtgradienten?

LSTM wurde speziell erfunden, um das Problem des verschwindenden Gradienten zu vermeiden. Dies soll mit dem Constant Error Carousel (CEC) geschehen, das in der folgenden Abbildung (von Greff et al. ) Der Schleife um die Zelle entspricht . (Quelle: deeplearning4j.org ) Und ich verstehe, dass dieser...

19
Unterschied zwischen RNN und LSTM / GRU

Ich versuche, verschiedene RNN-Architekturen (Recurrent Neural Network) zu verstehen, die auf Zeitreihendaten angewendet werden sollen, und bin etwas verwirrt mit den verschiedenen Namen, die häufig bei der Beschreibung von RNNs verwendet werden. Ist die Struktur von Langzeitspeicher (LSTM) und...

15
RNNs: Wann BPTT anwenden und / oder Gewichte aktualisieren?

Ich versuche, die Anwendung von RNNs auf hoher Ebene auf die Sequenzmarkierung über (unter anderem) Graves 'Artikel über die Phonemklassifizierung von 2005 zu verstehen . Um das Problem zusammenzufassen: Wir haben ein großes Trainingsset, das aus (Eingabe-) Audiodateien einzelner Sätze und...