Ich verstehe die Gründe für die Aufteilung der Daten in einen Test- und einen Validierungssatz. Ich verstehe auch, dass die Größe des Split von der Situation abhängen wird, aber im Allgemeinen von 50/50 bis 90/10 variieren wird. Ich habe eine RNN erstellt, um die Rechtschreibung zu korrigieren und...
Als ich Mini Batch Gradient Decent implementiert habe, habe ich nur die Gradienten aller Beispiele im Trainingsbatch gemittelt. Allerdings ist mir aufgefallen, dass jetzt die optimale Lernrate deutlich höher ist als bei anständigen Online-Gefällen. Meiner Intuition nach ist dies so, weil der...
Als Folge dessen, dass mein neuronales Netzwerk nicht einmal die euklidische Distanz lernen kann, vereinfachte ich noch mehr und versuchte, eine einzelne ReLU (mit zufälliger Gewichtung) zu einer einzelnen ReLU zu trainieren. Dies ist das einfachste Netzwerk, das es gibt, und dennoch scheitert die...
Ich experimentiere mit dem Algorithmus der Gradientenverstärkungsmaschine über das caretPaket in R. Unter Verwendung eines kleinen Datensatzes für Hochschulzulassungen habe ich den folgenden Code ausgeführt: library(caret) ### Load admissions dataset. ### mydata <-
Ab wann werden mehrschichtige neuronale Netze als tiefe neuronale Netze klassifiziert oder anders ausgedrückt: Wie viele Schichten müssen mindestens in einem tiefen neuronalen Netz vorhanden
Ich versuche die Yolo v2-Verlustfunktion zu verstehen: λc o o r d∑i = 0S2∑j = 0B1o b jich j[ ( xich- x^ich)2+ (
Während des Trainings eines einfachen Binärklassifikators für neuronale Netze erhalte ich einen hohen Verlustwert unter Verwendung von Kreuzentropie. Trotzdem ist die Genauigkeit des Validierungssatzes recht gut. Hat es eine Bedeutung? Gibt es keine strikte Korrelation zwischen Verlust und...
Während wir uns mit der Literatur über neuronale Netze befassen, können wir andere Methoden mit neuromorphen Topologien identifizieren ("Neural-Network" -ähnliche Architekturen). Und ich spreche nicht über den Satz der universellen Approximation . Beispiele sind unten angegeben. Dann frage ich...
Wie lautet die Ableitung der ReLU-Aktivierungsfunktion, die wie folgt definiert ist: ReLU(x)=max(0,x)ReLU(x)=max(0,x) \mathrm{ReLU}(x) = \mathrm{max}(0, x) Was ist mit dem Sonderfall, in dem die Funktion bei eine Diskontinuität aufweist
Ich habe keine zufriedenstellende Antwort von Google gefunden . Wenn die Daten, die ich habe, in der Größenordnung von Millionen liegen, ist Deep Learning natürlich der richtige Weg. Und ich habe gelesen, dass es vielleicht besser ist, beim maschinellen Lernen andere Methoden zu verwenden, wenn ich...
Ich habe einige neuronale Netze (MLP (vollständig verbunden), Elman (wiederkehrend)) für verschiedene Aufgaben aufgebaut, z. B. zum Spielen von Pong, zum Klassifizieren handgeschriebener Ziffern und anderer Dinge ... Zusätzlich habe ich versucht, einige erste Faltungs-Neuronale Netze aufzubauen,...
Im grundlegenden maschinellen Lernen lernen wir die folgenden "Faustregeln": a) Die Größe Ihrer Daten sollte mindestens das 10-fache der Größe der VC-Dimension Ihres Hypothesensatzes betragen. b) Ein neuronales Netz mit N Anschlüssen hat eine VC-Dimension von ungefähr N. Wenn also ein Deep...
Ich möchte eine LSTM - Version ( Long Short Term Memory ) eines wiederkehrenden neuronalen Netzwerks (RNN) zur Modellierung von Zeitreihendaten verwenden. Mit zunehmender Sequenzlänge der Daten nimmt die Komplexität des Netzwerks zu. Ich bin deshalb neugierig, welche Länge von Sequenzen mit einer...
Ich trainiere ein neuronales Netzwerk mit i) SGD und ii) Adam Optimizer. Bei Verwendung von normalem SGD erhalte ich eine glatte Kurve zwischen Trainingsverlust und Iteration (siehe unten) (die rote). Wenn ich jedoch den Adam Optimizer verwendet habe, weist die Trainingsverlustkurve einige Spitzen...
Ich versuche zu lernen, wie man neuronale Netze benutzt. Ich habe dieses Tutorial gelesen . Nach dem Anpassen eines neuronalen Netzes an eine Zeitreihe unter Verwendung des Wertes bei zur Vorhersage des Wertes bei t + 1 erhält der Autor das folgende Diagramm, wobei die blaue Linie die Zeitreihe...
Die Stellen, die ich über den Fluch der Dimensionalität gelesen habe, erklären ihn hauptsächlich in Verbindung mit kNN und linearen Modellen im Allgemeinen. Ich sehe regelmäßig Spitzenreiter in Kaggle, die Tausende von Funktionen in einem Datensatz verwenden, der kaum 100.000 Datenpunkte enthält....
Ich bin verwirrt mit der Definition eines nichtparametrischen Modells, nachdem ich diesen Link gelesen habe. Parametrische vs nichtparametrische Modelle und Antwortkommentare meiner anderen Frage . Ursprünglich dachte ich, "parametrisch gegen nicht parametrisch" bedeutet, wenn wir...
Ich habe Q-Learning implementiert, wie in http://web.cs.swarthmore.edu/~meeden/cs81/s12/papers/MarkStevePaper.pdf Um ca. F (S, A) Ich verwende eine neuronale Netzwerkstruktur wie die folgende: Aktivierung Sigmoid Eingänge, Anzahl der Eingänge + 1 für Aktionsneuronen (alle Eingänge skaliert 0-1)...
Wenn ich ein Convolutional Neural Network (CNN) mit etwa 1.000.000 Parametern habe, wie viele Trainingsdaten werden benötigt (vorausgesetzt, ich mache einen stochastischen Gradientenabstieg)? Gibt es eine Faustregel? Zusätzliche Hinweise: Wenn ich einen stochastischen Gradientenabstieg...
Ich bin ein Anfänger, der versucht, mein erstes Projekt zusammenzustellen. Ich hatte ein Songklassifizierungsprojekt im Sinn, aber da ich manuell beschriften würde, könnte ich nur 1000 Songs oder 60 Stunden Musik vernünftigerweise zusammenstellen. Ich würde mit mehreren Klassen klassifizieren,...