Ich versuche zu verstehen, wie rnns verwendet werden können, um Sequenzen anhand eines einfachen Beispiels vorherzusagen. Hier ist mein einfaches Netzwerk, bestehend aus einem Eingang, einem versteckten Neuron und einem Ausgang: Das versteckte Neuron ist die Sigmoidfunktion, und die Ausgabe wird...
Ich bin neu im tiefen Lernen, daher könnte dies eine triviale Frage sein. Aber ich frage mich, warum Deep Learning (oder neuronales Netzwerk) bei kleinen beschrifteten Daten nicht sehr gut funktioniert. Unabhängig davon, welche Forschungsarbeiten ich gelesen habe, sind ihre Datensätze riesig....
Ich habe eine Diagramminstanz mit gewichteten gerichteten Kanten, deren Werte im Bereich [-1,1] liegen können. Ich muss Clustering in diesem Diagramm durchführen, um Gruppen herauszufinden, in denen Eckpunkte stärker korreliert sind. Ich habe nach mehreren Algorithmen gesucht, die auf Clustering...
Geschlossen. Diese Frage ist nicht zum Thema . Derzeit werden keine Antworten akzeptiert. Möchten Sie diese Frage verbessern? Aktualisieren Sie die Frage so dass es beim Thema für Kreuz Validated. Geschlossen vor 4 Jahren . Ich arbeite an den Benchmarks einiger neuronaler Netze, deren...
Ich habe Eingaben , die Unsicherheiten gekannt haben . Ich benutze sie, um die Ausgaben in einem trainierten neuronalen Netzwerk vorherzusagen . Wie kann ich 1 Unsicherheiten bei meinen Vorhersagen erhalten?x1…xnx1…xnx_1\ldots x_n1σ1σ1\sigmaϵ1…ϵnϵ1…ϵn\epsilon_1 \ldots \epsilon_ny1…ymy1…ymy_1 \ldots...
Problembeschreibung Ich beginne mit dem Aufbau eines Netzwerks für ein Problem, von dem ich glaube, dass es eine weitaus aufschlussreichere Verlustfunktion haben könnte als eine einfache MSE-Regression. Mein Problem betrifft die Klassifizierung in mehrere Kategorien ( siehe meine Frage zu SO, was...
Ich habe ein neuronales Faltungsnetzwerk erstellt und wollte mithilfe der numerischen Gradientenprüfung überprüfen, ob meine Gradienten korrekt berechnet werden. Die Frage ist, wie nah ist nah genug? Meine Überprüfungsfunktion spuckt nur die berechnete Ableitung, die numerisch angenäherte...
https://www.tensorflow.org/ Alle Projekte auf TensorFlow, die ich in GitHub gesehen habe, implementieren eine Art neuronales Netzwerkmodell. Angesichts der Tatsache, dass TensorFlow eine Verbesserung gegenüber der DAG darstellt (es ist nicht mehr azyklisch), habe ich mich gefragt, ob ein inhärenter...
Ich habe in letzter Zeit die Theorie hinter ANNs studiert und wollte die "Magie" hinter ihrer Fähigkeit zur nichtlinearen Klassifizierung mehrerer Klassen verstehen. Dies führte mich zu dieser Website, auf der geometrisch gut erklärt wird, wie diese Annäherung erreicht wird. So habe ich es...
Ich wundere mich über die Unterschiede. Nach meinem Verständnis ist MLP eine Art von neuronalen Netzen, bei denen die Aktivierungsfunktion sigmoid ist und der Fehlerterm ein Entropiefehler (Logistikfehler) ist. Auf der Suche nach Hilfe,
Ich habe angefangen, über wiederkehrende neuronale Netze (RNNs) und Langzeit-Kurzzeitgedächtnis (LSTM) zu lesen ... (... oh, nicht genug Wiederholungspunkte hier, um Referenzen aufzulisten ...) Eine Sache verstehe ich nicht: Es scheint immer, dass Neuronen in jeder Instanz einer verborgenen...
Ich studiere zum ersten Mal über künstliche neuronale Netze (ANN) und bin beeindruckt, wie ähnlich die Konzepte neuronaler Netze der Modellierung von Strukturgleichungen (SEM) zu sein scheinen. Zum Beispiel, Eingabeknoten in ANN erinnern mich an Manifestvariablen in SEM Versteckte Knoten in ANN...
Ich habe die großartigen Kommentare zum Umgang mit fehlenden Werten vor dem Anwenden von SVD gelesen, möchte aber anhand eines einfachen Beispiels wissen, wie dies funktioniert: Movie1 Movie2 Movie3 User1 5 4 User2 2 5 5 User3 3 4 User4 1 5 User5 5 1 5 Wenn ich in der obigen Matrix die NA-Werte...
Zum Aufwärmen mit wiederkehrenden neuronalen Netzen versuche ich, eine Sinuswelle von einer anderen Sinuswelle einer anderen Frequenz vorherzusagen. Mein Modell ist eine einfache RNN, deren Vorwärtsdurchlauf wie folgt ausgedrückt werden kann: wobeiσdie Sigmoïd-Funktion
Sollte ich mein neuronales Netzwerk im Allgemeinen mit weniger Neuronen neu trainieren, damit es weniger tote ReLU-Neuronen hat? Ich habe widersprüchliche Meinungen über tote ReLUs gelesen. Einige Quellen sagen, dass tote ReLUs gut sind, weil sie die Sparsamkeit fördern. Andere sagen, dass sie...
Ich wollte ein Netzwerk mit Nichtlinearitäten trainieren, die unter dem Verschwinden leiden (oder dem explodierenden Gradientenproblem, obwohl es hauptsächlich verschwindet). Ich weiß, dass die (derzeitige) Standardmethode darin besteht, die Chargennormalisierung 1 [BN] 1 zu verwenden oder einfach...
Mein wiederkehrendes neuronales Netzwerk (LSTM bzw. GRU) verhält sich auf eine Weise, die ich nicht erklären kann. Das Training beginnt und es trainiert gut (die Ergebnisse sehen ziemlich gut aus), wenn die Genauigkeit plötzlich abnimmt (und der Verlust schnell zunimmt) - sowohl Trainings- als auch...
In SGD wäre eine Epoche die vollständige Darstellung der Trainingsdaten, und dann würde es N Gewichtsaktualisierungen pro Epoche geben (wenn der Trainingssatz N Datenbeispiele enthält). Wenn wir jetzt stattdessen Mini-Batches durchführen, beispielsweise in Batches von 20. Besteht eine Epoche jetzt...
Ist es möglich, Ergebnisse auf dem neuesten Stand der Technik zu erzielen, indem nur die Rückausbreitung verwendet wird (ohne Vorschulung )? Oder ist es so, dass alle rekordverdächtigen Ansätze irgendeine Form von Vorschulung verwenden? Ist die Rückausbreitung allein gut
Ich habe irgendwo festgestellt, dass der Testsatz nicht als Validierungssatz verwendet werden darf. Warum? Der Validierungssatz wird angewendet, wenn die Modellparameter festgelegt sind und das Lernen nur durch Backprop auf dem Trainingsstapel erfolgt. Warum kann ich Testdaten nicht als...