Unterschied zwischen zeitverzögerten neuronalen Netzen und wiederkehrenden neuronalen Netzen

Ich möchte ein neuronales Netzwerk verwenden, um finanzielle Zeitreihen vorherzusagen. Ich komme aus einem IT-Umfeld und habe einige Kenntnisse über neuronale Netze. Ich habe darüber gelesen:

• TDNN
• RNN

Ich habe nach R-Paketen für sie gesucht und nur eines für RNN gefunden, das RSNNS-Paket, das Elman- und Jordan-Implementierungen enthält, die RNN sind.

Sind wiederkehrende neuronale Netze für (finanzielle) Zeitreihen nützlich? Da sie (Zitat aus dem zuvor zitierten Wikipedia-Link zu RNN):

Bei jedem Zeitschritt wird die Eingabe in einer Standard-Feed-Forward-Weise weitergegeben, und dann wird eine Lernregel angewendet. Die festen Back-Verbindungen führen dazu, dass die Kontexteinheiten immer eine Kopie der vorherigen Werte der verborgenen Einheiten beibehalten (da sie sich über die Verbindungen ausbreiten, bevor die Lernregel angewendet wird). Somit kann das Netzwerk eine Art Zustand beibehalten, wodurch es Aufgaben wie die Sequenzvorhersage ausführen kann , die außerhalb der Leistung eines Standard-Multilayer-Perzeptrons liegen.

sind in der Praxis nicht die gleichen wie Time Delay Neural Networks? Wenn nicht, welche Unterschiede bestehen zu zeitverzögerten neuronalen Netzen? Sind beide für die Verwendung mit Zeitreihen geeignet oder welche ist besser geeignet?

Danke vorher!

Ich habe noch nie mit wiederkehrenden Netzwerken gearbeitet, aber soweit ich weiß, können in der Praxis einige RNN und TDNN für den gleichen Zweck verwendet werden, den Sie möchten: Vorhersagen von Zeitreihenwerten. Sie arbeiten jedoch anders.

Es ist möglich mit TDNN:

• Prozesswerte vorhersagen
• Finden Sie eine Beziehung zwischen zwei Prozessen.

Einige RNN, wie NARX, ermöglichen dies ebenfalls, und es wird auch verwendet, um finanzielle Zeitreihen vorherzusagen, normalerweise besser als TDNN.

Ein TDNN ähnelt eher einem Feedforward-Netzwerk, da der Zeitaspekt nur über seine Eingaben eingefügt wird, im Gegensatz zu NARX, das auch den vorhergesagten / realen zukünftigen Wert als Eingabe benötigt. Diese Eigenschaft macht TDNN für die Vorhersage von Werten weniger robust als NARX, erfordert jedoch weniger Verarbeitung und ist einfacher zu trainieren.

Wenn Sie versuchen, eine Beziehung zwischen einem Prozess und einem Prozess , müssen Sie für NARX frühere Werte von , für TDNN jedoch nicht.$X(t)$$Y(t)$$Y$

Ich empfehle, Simon Haykins Neuronale Netze: Eine umfassende Grundlage (2. Auflage) und diese FAQ zu lesen . Es gibt viele Architekturen und Variationen neuronaler Netze. Manchmal haben sie viele Namen oder es besteht kein Konsens über ihre Klassifizierung.

TDNNs sind eine einfache Möglichkeit, eine Zuordnung zwischen vergangenen und gegenwärtigen Werten darzustellen. Die Verzögerungen im TDNN bleiben während des gesamten Trainingsverfahrens konstant und werden zuvor unter Verwendung von Versuch und Irrtum zusammen mit einigen Heuristiken geschätzt. Es kann jedoch vorkommen, dass diese festen Verzögerungen nicht die tatsächlichen zeitlichen Orte der Zeitabhängigkeiten erfassen. Andererseits kann das "Speicher" -Feature der RNN-Strukturen diese Informationen erfassen, indem diese Abhängigkeiten gelernt werden. Das Problem bei RNNs besteht darin, dass sie nicht praktikabel sind, wenn sie mit traditionellen Techniken (z. B. Backpropagation durch die Zeit) zum Erlernen langfristiger Abhängigkeiten trainiert werden. Dieses Problem ergibt sich aus dem sogenannten "Verschwinden / Explodieren" Gradient, was im Grunde bedeutet, dass die Fehlersignale, wenn wir sie rückwärts durch die Netzwerkstruktur ausbreiten, dazu neigen, zu verschwinden oder zu explodieren. Fortgeschrittenere wiederkehrende Strukturen (z. B. LSTM) haben Eigenschaften, die dieses Problem mindern, langfristige Abhängigkeiten lernen können und sich besonders zum Lernen sequentieller Daten eignen.