Ich benutze das LSTM-Netzwerk in Keras. Während des Trainings schwankt der Verlust stark und ich verstehe nicht, warum das passieren würde. Hier ist das NN, das ich ursprünglich verwendet habe: Und hier sind der Verlust und die Genauigkeit während des Trainings: (Beachten Sie, dass die...
Ich habe mich gefragt, wie der Status für LSTMs am besten initialisiert werden kann. Momentan initialisiere ich es einfach auf alle Nullen. Ich kann online nichts darüber finden, wie man es initialisiert. Eine Sache, an die ich gedacht habe, ist, den Ausgangszustand zu einem trainierbaren Parameter...
Ich möchte eine LSTM-RNN für die Vorhersage von Zeitreihen erstellen, aber einige meiner Prädiktoren sind monatlich und andere täglich. Irgendwelche Ratschläge / Beispiele zum Aufbau dieses Netzwerks? Die Häufigkeit der Vorhersagen ist monatlich. Vielen
Nehmen Sie die folgende eindimensionale Sequenz an: A, B, C, Z, B, B, #, C, C, C, V, $, W, A, % ... Buchstaben A, B, C, ..hier repräsentieren "gewöhnliche" Ereignisse. Symbole stehen #, $, %, ...hier für "besondere" Ereignisse Der zeitliche Abstand zwischen allen Ereignissen ist ungleichmäßig...
Wie viele andere fand ich die Ressourcen hier und hier äußerst nützlich für das Verständnis von LSTM-Zellen. Ich bin zuversichtlich, dass ich verstehe, wie Werte fließen und aktualisiert werden, und ich bin zuversichtlich, dass ich auch die genannten "Gucklochverbindungen" usw. hinzufügen kann. In...
Ich versuche die Architektur von RNNs zu verstehen. Ich habe dieses Tutorial gefunden, das sehr hilfreich war: http://colah.github.io/posts/2015-08-Understanding-LSTMs/ Besonders dieses Bild: Wie passt das in ein Feed-Forward-Netzwerk? Ist dieses Bild nur ein weiterer Knoten in jeder...
Ich versuche, ein LSTM für die Vorhersage von Zeitreihen zu verwenden. Die Daten werden einmal pro Minute übertragen, aber ich würde gerne eine Stunde voraussagen. Ich kann mir zwei Möglichkeiten vorstellen, dies zu tun: Zerdrücken Sie die Daten stattdessen in stündliche Daten, wobei Sie den...
Das Problem, mit dem ich mich befasse, ist die Vorhersage von Zeitreihenwerten. Ich betrachte jeweils eine Zeitreihe und möchte anhand von beispielsweise 15% der Eingabedaten die zukünftigen Werte vorhersagen. Bisher bin ich auf zwei Modelle gestoßen: LSTM (Langzeit-Kurzzeitgedächtnis; eine Klasse...
Mein wiederkehrendes neuronales Netzwerk (LSTM bzw. GRU) verhält sich auf eine Weise, die ich nicht erklären kann. Das Training beginnt und es trainiert gut (die Ergebnisse sehen ziemlich gut aus), wenn die Genauigkeit plötzlich abnimmt (und der Verlust schnell zunimmt) - sowohl Trainings- als auch...
Angenommen, ich füge eine 2D-Formmatrix (99, 13) als Eingabe in eine LSTM-Ebene ein. Ich habe n Dateien, wobei jede (99,13) Größenvektoren enthält. Ich habe beschlossen, 13 als Anzahl der Features und 99 als Zeitschritte zu betrachten. (Während der Implementierung mit Keras habe ich die LSTM-Ebene...
Ich bin mir nicht sicher, was ich aus der offiziellen Dokumentation verstehe, in der es heißt: Rückgabe: Ein Paar (Ausgänge, Status) wobei: outputs: Der RNN-Ausgangstensor. Wenn time_major == False(Standard), ist dies eine Tensorform : [batch_size, max_time, cell.output_size]. Wenn time_major ==...
Ich möchte besser verstehen, warum sich LSTM über einen längeren Zeitraum an Informationen erinnern kann als Vanille / einfaches wiederkehrendes neuronales Netzwerk (SRNN), indem ich ein Experiment aus dem Artikel Lernen von Langzeitabhängigkeiten mit Gradientenabstieg von Bengio et al. 1994 ....
Alex Graves hat ein Modell erstellt, um Handschriftsequenzen zu generieren, die ein LSTM (Art Recurrent Neural Network) verwenden, um die Parameter für ein Mischungsmodell vorherzusagen. Das Mischungsmodell wird dann verwendet, um die nächste x-, y-Koordinate vorherzusagen und ob der Stift nach...