Ich bin sehr neu in Deep Learning und ich bin besonders daran interessiert zu wissen, was LSTM und BiLSTM sind und wann ich sie verwenden soll (Hauptanwendungsbereiche). Warum sind LSTM und BILSTM beliebter als RNN?
Können wir diese Deep-Learning-Architekturen bei unbeaufsichtigten Problemen verwenden?
Antworten:
RNN
Architekturen mögenLSTM
undBiLSTM
werden in Situationen verwendet, in denen das Lernproblem sequentiell ist, z. B. wenn Sie ein Video haben und wissen möchten, worum es geht, oder wenn ein Agent eine Dokumentzeile für Sie lesen soll, die ein Textbild ist und ist nicht im Textformat. Ich ermutige Sie sehr, sich hier umzusehen .LSTMs
und ihre bidirektionalen Varianten sind beliebt, weil sie versucht haben zu lernen, wie und wann man vergisst und wann man keine Tore in ihrer Architektur verwendet. In früherenRNN
Architekturen war das Verschwinden von Verläufen ein großes Problem und führte dazu, dass diese Netze nicht so viel lernten.Mit Bidirektional
LSTMs
füttern Sie den Lernalgorithmus einmal von Anfang bis Ende und einmal von Ende bis Anfang mit den Originaldaten. Es gibt hier Debatten, aber es lernt normalerweise schneller als ein einseitiger Ansatz, obwohl es von der Aufgabe abhängt.Ja, Sie können sie je nach Aufgabe auch für unbeaufsichtigtes Lernen verwenden. Schauen Sie sich hier und hier an .
quelle
Menschen beginnen nicht jede Sekunde von vorne zu denken. Wenn Sie diesen Aufsatz lesen, verstehen Sie jedes Wort basierend auf Ihrem Verständnis der vorherigen Wörter. Sie werfen nicht alles weg und denken wieder von vorne. Deine Gedanken sind hartnäckig.
Herkömmliche neuronale Netze können dies nicht und es scheint ein großes Manko zu sein. Stellen Sie sich zum Beispiel vor, Sie möchten klassifizieren, welche Art von Ereignis an jedem Punkt eines Films stattfindet. Es ist unklar, wie ein traditionelles neuronales Netzwerk seine Argumentation zu früheren Ereignissen im Film nutzen könnte, um spätere zu informieren.
Wiederkehrende neuronale Netze beheben dieses Problem. Sie sind Netzwerke mit Schleifen, in denen Informationen bestehen bleiben.
Weitere Informationen finden Sie in Cohens Blog
quelle
Im Vergleich zu LSTM
BLSTM
oderBiLSTM
hat zwei Netzwerke, eine Zugriffsinformationpast
inforward
Richtung und eine andere Zugrifffuture
inreverse
Richtung. WIKIEine neue Klasse
Bidirectional
wird gemäß offiziellem Dokument hier hinzugefügt :Das vollständige Beispiel mit IMDB-Daten sieht folgendermaßen aus
quelle