Als Folge dessen, dass mein neuronales Netzwerk nicht einmal die euklidische Distanz lernen kann, vereinfachte ich noch mehr und versuchte, eine einzelne ReLU (mit zufälliger Gewichtung) zu einer einzelnen ReLU zu trainieren. Dies ist das einfachste Netzwerk, das es gibt, und dennoch scheitert die...
Ich möchte eine LSTM - Version ( Long Short Term Memory ) eines wiederkehrenden neuronalen Netzwerks (RNN) zur Modellierung von Zeitreihendaten verwenden. Mit zunehmender Sequenzlänge der Daten nimmt die Komplexität des Netzwerks zu. Ich bin deshalb neugierig, welche Länge von Sequenzen mit einer...
Ich experimentiere mit dem Algorithmus der Gradientenverstärkungsmaschine über das caretPaket in R. Unter Verwendung eines kleinen Datensatzes für Hochschulzulassungen habe ich den folgenden Code ausgeführt: library(caret) ### Load admissions dataset. ### mydata <-
Ab wann werden mehrschichtige neuronale Netze als tiefe neuronale Netze klassifiziert oder anders ausgedrückt: Wie viele Schichten müssen mindestens in einem tiefen neuronalen Netz vorhanden
Als ich Mini Batch Gradient Decent implementiert habe, habe ich nur die Gradienten aller Beispiele im Trainingsbatch gemittelt. Allerdings ist mir aufgefallen, dass jetzt die optimale Lernrate deutlich höher ist als bei anständigen Online-Gefällen. Meiner Intuition nach ist dies so, weil der...
Wie lautet die Ableitung der ReLU-Aktivierungsfunktion, die wie folgt definiert ist: ReLU(x)=max(0,x)ReLU(x)=max(0,x) \mathrm{ReLU}(x) = \mathrm{max}(0, x) Was ist mit dem Sonderfall, in dem die Funktion bei eine Diskontinuität aufweist
Die Stellen, die ich über den Fluch der Dimensionalität gelesen habe, erklären ihn hauptsächlich in Verbindung mit kNN und linearen Modellen im Allgemeinen. Ich sehe regelmäßig Spitzenreiter in Kaggle, die Tausende von Funktionen in einem Datensatz verwenden, der kaum 100.000 Datenpunkte enthält....
Ich versuche zu verstehen, wie Boltzmann-Maschinen funktionieren, bin mir aber nicht sicher, wie Gewichte gelernt werden, und habe keine eindeutige Beschreibung gefunden. Ist das Folgende richtig? (Auch Hinweise auf gute Boltzmann-Maschinenerklärungen wären toll.) Wir haben eine Reihe von...
Ich habe über den Adam-Optimierer für Deep Learning gelesen und bin in dem neuen Buch Deep Learning von Begnio, Goodfellow und Courtville auf folgenden Satz gestoßen: Adam schließt Vorspannungskorrekturen an den Schätzungen sowohl der Momente erster Ordnung (dem Impulsausdruck) als auch der...
Ich habe das FaceNet- Papier gelesen und im dritten Absatz der Einleitung heißt es: Frühere Gesichtserkennungsansätze, die auf tiefen Netzwerken basieren, verwenden eine Klassifizierungsschicht, die über einen Satz bekannter Gesichtsidentitäten trainiert wurde, und verwenden dann eine...
In neuronalen Faltungsnetzen (CNN) werden die Zeilen und Spalten der Gewichtungsmatrix bei jedem Schritt umgedreht, um die Kernelmatrix zu erhalten, bevor mit der Faltung fortgefahren wird. Dies wird in einer Reihe von Videos von Hugo Larochelle hier erklärt : Berechnung der versteckten Karten...
Ich habe eine "permutationsinvariante" Version der MNIST-Ziffernerkennungsaufgabe gesehen. Was bedeutet
Ich habe Q-Learning implementiert, wie in http://web.cs.swarthmore.edu/~meeden/cs81/s12/papers/MarkStevePaper.pdf Um ca. F (S, A) Ich verwende eine neuronale Netzwerkstruktur wie die folgende: Aktivierung Sigmoid Eingänge, Anzahl der Eingänge + 1 für Aktionsneuronen (alle Eingänge skaliert 0-1)...
Wenn ich ein Convolutional Neural Network (CNN) mit etwa 1.000.000 Parametern habe, wie viele Trainingsdaten werden benötigt (vorausgesetzt, ich mache einen stochastischen Gradientenabstieg)? Gibt es eine Faustregel? Zusätzliche Hinweise: Wenn ich einen stochastischen Gradientenabstieg...
Angenommen, ich schreibe einen Algorithmus zum Aufbau eines gestapelten 2-Schichten-Autoencodierers und eines neuronalen 2-Schichten-Netzwerks. Sind sie die gleichen Dinge oder der Unterschied? Ich verstehe, dass ich beim Erstellen eines gestapelten Autoencoders Schicht für Schicht erstellen würde....
In einigen Tutorials wurde festgestellt, dass die "Xavier" -Gewichtsinitialisierung (Artikel: Verständnis der Schwierigkeit, tiefe Feedforward-Neuronale Netze zu trainieren ) ein effizienter Weg ist, um die Gewichte von Neuronalen Netzen zu initialisieren. Für vollständig verbundene Ebenen gab es...
Ich bin verwirrt mit der Definition eines nichtparametrischen Modells, nachdem ich diesen Link gelesen habe. Parametrische vs nichtparametrische Modelle und Antwortkommentare meiner anderen Frage . Ursprünglich dachte ich, "parametrisch gegen nicht parametrisch" bedeutet, wenn wir...
Tensorflow enthält ein Beispiel-Tutorial zur Klassifizierung von CIFAR-10 . Im Tutorial wird der durchschnittliche Kreuzentropieverlust über die Charge minimiert. def loss(logits, labels): """Add L2Loss to all the trainable variables. Add summary for for "Loss" and "Loss/avg". Args: logits:...
Beim Mini-Batch-Training eines neuronalen Netzwerks habe ich gehört, dass es eine wichtige Praxis ist, die Trainingsdaten vor jeder Epoche zu mischen. Kann jemand erklären, warum das Mischen in jeder Epoche hilft? In der Google-Suche habe ich die folgenden Antworten gefunden: Es hilft dem Training,...
Alle Beispiele, die ich mit Deep-Believe- oder Faltungs-Neuronalen Netzen gefunden habe, verwenden sie zur Bildklassifizierung, zur Erkennung von Chat-Zeichen oder zur Spracherkennung. Sind tiefe neuronale Netze auch für klassische Regressionsaufgaben nützlich, bei denen die Merkmale nicht...