Ich bin neu im Bereich Deep Learning und für mich war der erste Schritt, interessante Artikel von deeplearning.net zu lesen. In Artikeln über tiefes Lernen sprechen Hinton und andere hauptsächlich davon, es auf Bildprobleme anzuwenden. Kann jemand versuchen, mir zu antworten? Kann dies auf das Problem der Vorhersage von Zeitreihenwerten (Finanz-, Internet-Verkehr, ...) angewendet werden und auf welche wichtigen Dinge sollte ich mich konzentrieren, wenn es möglich ist?
54
Antworten:
Es gab einige Arbeiten zur Anpassung von Deep-Learning-Methoden für sequentielle Daten. Ein Großteil dieser Arbeit konzentrierte sich auf die Entwicklung von "Modulen", die analog zum Stapeln von eingeschränkten Boltzmann-Maschinen (RBMs) oder Autoencodern zu einem tiefen neuronalen Netzwerk gestapelt werden können. Ich werde im Folgenden einige hervorheben:
quelle
Ja, Deep Learning kann für Zeitreihenvorhersagen angewendet werden. Tatsächlich wurde es schon oft gemacht, zum Beispiel:
Dies ist eigentlich kein "Sonderfall", beim Tiefenlernen geht es hauptsächlich um Vorverarbeitungsmethoden (basierend auf einem generativen Modell). Sie müssen sich also auf genau dieselben Dinge konzentrieren, auf die Sie sich konzentrieren, wenn Sie Tiefenlernen im "traditionellen Sinne" durchführen Hand und die gleichen Dinge, auf die Sie sich konzentrieren, während Sie Zeitreihenvorhersagen ohne tiefes Lernen durchführen.
quelle
Wiederkehrende neuronale Netze gelten als eine Art Deep Learning (DL). Ich denke, sie sind das beliebteste DL-Tool für (1d) Sequenz-zu-Sequenz-Lernen. Sie sind derzeit die Grundlage für NMT-Ansätze (Pionier 2014 bei LISA (UdeM), Google und wahrscheinlich ein paar andere, an die ich mich nicht erinnere).
quelle
Alex Graves ' Generierung von Sequenzen mit wiederkehrenden neuronalen Netzen verwendet wiederkehrende Netze und Langzeitgedächtniszellen, um Text vorherzusagen und die Handschriftsynthese durchzuführen.
Andrej Karpathy hat einen Blog über das Generieren von Sequenzen auf Zeichenebene von Grund auf geschrieben. In seinem Tutorial verwendet er RNNs.
Weitere Beispiele finden Sie bei Hochreiter, S. & Schmidhuber, J. (1997). Langes Kurzzeitgedächtnis. Neuronale Berechnung, 9 (8), 1735-1780.
quelle
Vielleicht hilft das:
Wenn Sie Definitionen für Ihr genaues Zeitfenster für die Daten wie Sätze in diesem Artikel oder Absätze haben, können Sie LSTM problemlos verwenden, aber ich bin nicht sicher, wie Sie das Zeitfenster finden können, das nicht offensichtlich und kontextsensitiver ist. Ein Beispiel dafür kann sein, wie viele der angezeigten Protokolldaten miteinander verknüpft sind, und das ist nicht offensichtlich.
quelle