Als «rnn» getaggte Fragen

Was ist der Unterschied zwischen einem Feed-Forward- und einem rekurrenten neuronalen Netzwerk? Warum würden Sie eine übereinander verwenden? Gibt es andere Netzwerktopologien?

Ich habe LSTMs für eine Weile studiert. Ich verstehe auf hohem Niveau, wie alles funktioniert. Als ich sie jedoch mit Tensorflow implementieren wollte, bemerkte ich, dass BasicLSTMCell eine Reihe von Einheiten (dh num_units) benötigt. Aus dieser sehr gründlichen Erklärung von LSTMs habe ich...

Kürzlich habe ich gelesen, dass ein wiederkehrendes neuronales Netzwerk jeden Algorithmus approximieren kann. Meine Frage lautet also: Was bedeutet das genau und können Sie mir einen Hinweis geben, wo dies bewiesen

Was sind die Vorteile, warum sollte man mehrere nebeneinander gestapelte LSTMs in einem tiefen Netzwerk verwenden? Ich verwende einen LSTM, um eine Folge von Eingaben als eine einzige Eingabe darzustellen. Also, wenn ich diese einzige Darstellung habe - warum sollte ich sie noch einmal...

In den letzten Jahren wurden in verschiedenen Deep-Learning-Artikeln Aufmerksamkeitsmechanismen eingesetzt. Ilya Sutskever, Forschungsleiter bei Open AI, hat sie begeistert gelobt: https://towardsdatascience.com/the-fall-of-rnn-lstm-2d1594c74ce0 Eugenio Culurciello von der Purdue University hat...

Diese Frage hat hier bereits Antworten : Wie kann eine Änderung der Kostenfunktion positiv sein? (1 Antwort) Was soll ich tun, wenn mein neuronales Netzwerk nicht lernt? (5 Antworten) Geschlossen im letzten Monat . Ich trainiere ein Modell (Recurrent Neural Network), um 4 Arten von Sequenzen zu...

Ich habe mich kürzlich für LSTMs interessiert und war überrascht zu erfahren, dass die Gewichte über die Zeit verteilt sind. Ich weiß, dass, wenn Sie die Gewichte über die Zeit teilen, Ihre Eingabezeitsequenzen eine variable Länge haben können. Mit geteilten Gewichten müssen Sie viel weniger...

RNN kann zur Vorhersage oder Sequenz-zu-Sequenz-Zuordnung verwendet werden. Aber wie kann RNN zur Klassifizierung verwendet werden? Ich meine, wir geben einer ganzen Sequenz ein

Ich versuche, verschiedene RNN-Architekturen (Recurrent Neural Network) zu verstehen, die auf Zeitreihendaten angewendet werden sollen, und bin etwas verwirrt mit den verschiedenen Namen, die häufig bei der Beschreibung von RNNs verwendet werden. Ist die Struktur von Langzeitspeicher (LSTM) und...

Ich gehe den folgenden Blog im neuronalen LSTM-Netzwerk durch: http://machinelearningmastery.com/understanding-stateful-lstm-recurrent-neural-networks-python-keras/ Der Autor formt den Eingabevektor X als [Beispiele, Zeitschritte, Merkmale] für unterschiedliche Konfigurationen von LSTMs um. Der...

Ich versuche, die Anwendung von RNNs auf hoher Ebene auf die Sequenzmarkierung über (unter anderem) Graves 'Artikel über die Phonemklassifizierung von 2005 zu verstehen . Um das Problem zusammenzufassen: Wir haben ein großes Trainingsset, das aus (Eingabe-) Audiodateien einzelner Sätze und...

Ich möchte ein Projekt zur optischen Zeichenerkennung (OCR) durchführen. Nach einigen Recherchen bin ich auf eine Architektur gestoßen, die interessant erscheint: CNN + RNN + CTC. Ich bin mit verschachtelten neuronalen Netzen (CNN) und wiederkehrenden neuronalen Netzen (RNN) vertraut, aber was ist...

In einem wiederkehrenden neuronalen Netzwerk würden Sie normalerweise die Weiterleitung über mehrere Zeitschritte durchführen, das Netzwerk "ausrollen" und dann die Weiterleitung über die Folge von Eingaben zurückführen. Warum sollten Sie nicht einfach die Gewichte nach jedem einzelnen Schritt in...

Ich habe Grundkenntnisse über die Funktionsweise von RNNs (und insbesondere von LSTMs). Ich habe eine bildliche Vorstellung von der Architektur einer LSTM-Einheit, dh einer Zelle und einiger Tore, die den Wertefluss regulieren. Anscheinend habe ich jedoch nicht vollständig verstanden, wie LSTM das...

RNNs eignen sich bemerkenswert gut zur Erfassung der Zeitabhängigkeit sequentieller Daten. Was passiert jedoch, wenn die Sequenzelemente nicht zeitlich gleich verteilt sind? Beispielsweise erfolgt die erste Eingabe in die LSTM-Zelle am Montag, dann keine Daten von Dienstag bis Donnerstag und...

Die Idee hinter Recurrent Neural Network (RNN) ist mir klar. Ich verstehe es folgendermaßen: Wir haben eine Folge von Beobachtungen ( Ö⃗ 1, o⃗ 2, … , O.⃗ no→1,o→2,…,o→n\vec o_1, \vec o_2, \dots, \vec o_n ) (oder mit anderen Worten multivariate Zeitreihen). Jede einzelne Beobachtung Ö⃗ icho→i\vec...

Ich benutze das LSTM-Netzwerk in Keras. Während des Trainings schwankt der Verlust stark und ich verstehe nicht, warum das passieren würde. Hier ist das NN, das ich ursprünglich verwendet habe: Und hier sind der Verlust und die Genauigkeit während des Trainings: (Beachten Sie, dass die...

Welche sequentiellen Eingabeprobleme eignen sich jeweils am besten? Bestimmt die Eingabedimensionalität, welche besser zu Ihnen passt? Sind Probleme, die "längeren Speicher" erfordern, besser für ein LSTM-RNN geeignet, während Probleme mit zyklischen Eingabemustern (Börse, Wetter) von einem HMM...

Ich möchte eine LSTM-RNN für die Vorhersage von Zeitreihen erstellen, aber einige meiner Prädiktoren sind monatlich und andere täglich. Irgendwelche Ratschläge / Beispiele zum Aufbau dieses Netzwerks? Die Häufigkeit der Vorhersagen ist monatlich. Vielen

Ich verwende Bidirectional RNN, um ein Ereignis mit unausgeglichenem Auftreten zu erkennen. Die positive Klasse ist 100-mal seltener als die negative Klasse. Obwohl keine Regularisierung verwendet wird, kann ich eine 100% ige Genauigkeit für das Zugset und 30% für das Validierungsset erhalten. Ich...