Ich frage mich, wie man eine wiederkehrende Architektur in einem EEG-Kontext interpretiert. Insbesondere betrachte ich dies als wiederkehrendes CNN (im Gegensatz zu Architekturen wie LSTM), aber vielleicht gilt es auch für andere Arten von wiederkehrenden Netzwerken Wenn ich über R-CNNs lese,...
Hintergrund: Beim Anpassen neuronaler Netze mit Relu-Aktivierung stellte ich fest, dass die Vorhersage manchmal nahezu konstant wird. Ich glaube, dass dies daran liegt, dass die Relu-Neuronen während des Trainings sterben, wie hier angegeben. ( Was ist das "sterbende ReLU" -Problem in neuronalen...
Nehmen wir an, wir verwenden eine Stapelgröße von 100 Proben zum Lernen. In jeder Charge wird also das Gewicht jedes Neurons (und der Verzerrung usw.) aktualisiert, indem das Minus der Lernrate * der durchschnittliche Fehlerwert, den wir unter Verwendung der 100 Stichproben * gefunden haben, die...
Ich bin ein Anfänger in neuronalen Netzen und erforsche derzeit das word2vec-Modell. Es fällt mir jedoch schwer zu verstehen, was die Feature-Matrix genau ist. Ich kann verstehen, dass die erste Matrix ein One-Hot-Codierungsvektor für ein bestimmtes Wort ist, aber was bedeutet die zweite Matrix?...
Ich habe die Erklärung der Faltung gelesen und verstehe sie bis zu einem gewissen Grad. Kann mir jemand helfen zu verstehen, wie diese Operation mit der Faltung in Faltungs-Neuronalen Netzen zusammenhängt? Ist eine filterähnliche Funktion, gdie Gewicht
Die Chargennormalisierung wird in diesem Artikel als Normalisierung der Eingabe in eine Aktivierungsfunktion mit den Skalierungs- und Verschiebungsvariablen und β beschrieben . In diesem Artikel wird hauptsächlich die Verwendung der Sigmoid-Aktivierungsfunktion beschrieben, was sinnvoll ist. Es...
Ich möchte ANNs für mein Problem verwenden, aber das Problem ist, dass meine Ein- und Ausgabeknotennummern nicht behoben sind. Ich habe eine Google-Suche durchgeführt, bevor ich meine Frage gestellt habe, und festgestellt, dass der RNN mir bei meinem Problem helfen kann. Aber alle Beispiele, die...
Ich versuche, ein Gestenerkennungssystem zum Klassifizieren von ASL- Gesten (American Sign Language) zu erstellen. Daher soll meine Eingabe eine Folge von Bildern entweder von einer Kamera oder einer Videodatei sein, dann erkennt es die Folge und ordnet sie der entsprechenden zu Klasse (schlafen,...
Ich habe gerade etwas über Regularisierung als Ansatz zur Kontrolle der Überanpassung gelernt und möchte die Idee in eine einfache Implementierung von Backpropagation und Multilayer Perceptron (MLP) integrieren, die ich zusammengestellt habe. Um eine Überanpassung zu vermeiden, überprüfe ich...
Ich schaue mir an, wie man Dropout in einem tiefen neuronalen Netzwerk implementiert, und fand etwas, das nicht intuitiv ist. In der Vorwärtsphase fallen Dropout-Maskenaktivierungen mit einem zufälligen Tensor von 1s und 0s an, um das Netz zu zwingen, den Durchschnitt der Gewichte zu lernen. Dies...
Gibt es Veröffentlichungen, die Unterschiede in den Regularisierungsmethoden für neuronale Netze zeigen, vorzugsweise in verschiedenen Domänen (oder zumindest in verschiedenen Datensätzen)? Ich frage, weil ich derzeit das Gefühl habe, dass die meisten Leute nur Aussetzer zur Regularisierung in der...
Ich trainiere derzeit ein neuronales Netzwerk und kann mich nicht entscheiden, welches zur Implementierung meiner Early-Stop-Kriterien verwendet werden soll: Validierungsverlust oder Metriken wie Genauigkeit / f1score / auc / was auch immer auf dem Validierungssatz berechnet. Bei meinen Recherchen...
Ich versuche, Verstärkungslernen und Markov-Entscheidungsprozesse (MDP) zu verstehen, wenn ein neuronales Netz als Funktionsnäherungswert verwendet wird. Ich habe Schwierigkeiten mit der Beziehung zwischen dem MDP, in dem die Umgebung auf probabilistische Weise untersucht wird, wie dies auf...
Ich habe etwas über Faltungs-Neuronale Netze gelernt. Bei der Betrachtung von KerasBeispielen bin ich auf drei verschiedene Faltungsmethoden gestoßen. Nämlich 1D, 2D & 3D. Was sind die Unterschiede zwischen diesen drei Schichten? Was sind ihre Anwendungsfälle? Gibt es einige Links oder...
Beim Training neuronaler Netze gibt es mindestens vier Möglichkeiten, das Netz zu regulieren: L1 Regularisierung L2 Regularisierung Aussteigen Chargennormalisierung Dazu kommen natürlich auch andere Dinge wie Gewichtsverteilung und Reduzierung der Anzahl der Verbindungen, die im engeren Sinne...
Ich arbeite derzeit daran, die Ergebnisse dieses Papiers neu zu erstellen . In der Arbeit beschreiben sie eine Methode zur Verwendung von CNN zur Merkmalsextraktion und haben ein akustisches Modell, das Dnn-hmm ist und mit RBM vorab trainiert wurde. Abschnitt III Unterabschnitt A gibt verschiedene...
Ich möchte abschätzen können, ob ein vorgeschlagenes Modell klein genug ist, um auf einer GPU mit einer bestimmten Speichermenge trainiert zu werden Wenn ich eine einfache CNN-Architektur wie diese habe: Input: 50 x 50 x 3 C1: 32 3x3-Kernel mit Polsterung (ich denke in Wirklichkeit sind sie...
Ich versuche zu lernen, wie LSTMNetzwerke funktionieren, und selbst wenn ich die Grundlagen verstehe, sind mir die Details der internen Struktur nicht klar. Auf diesem Blog- Link habe ich dieses Schema einer LSTMArchitektur gefunden Wo anscheinend jeder Kreis einer einzelnen LSTMEinheit wie dieser...
Angenommen, ich habe eine Reihe von Zeitbereichssignalen ohne Beschriftung . Ich möchte sie in 2 oder 3 Klassen gruppieren. Autoencoder sind unbeaufsichtigte Netzwerke, die lernen, die Eingänge zu komprimieren. also eine Eingabe , und , und und ausgegeben wird , können wir die folgenden Beziehungen...
Es ist eine bekannte Tatsache, dass ein 1-Schicht-Netzwerk die xor-Funktion nicht vorhersagen kann, da es nicht linear trennbar ist. Ich habe versucht, ein 2-Layer-Netzwerk mit der logistischen Sigmoid-Funktion und Backprop zu erstellen, um xor vorherzusagen. Mein Netzwerk hat 2 Neuronen (und eine...