Ich habe ein tiefes neuronales Netzwerkmodell und muss es auf meinem Datensatz trainieren, der aus ungefähr 100.000 Beispielen besteht. Meine Validierungsdaten enthalten ungefähr 1000 Beispiele. Da es einige Zeit dauert, um jedes Beispiel zu trainieren (ungefähr 0,5 Sekunden für jedes Beispiel) und...
Um SVM oder Neural Network zu verwenden, müssen kategoriale Variablen in numerische Variablen umgewandelt (kodiert) werden. In diesem Fall werden normalerweise 0-1 Binärwerte verwendet, wobei der k-te kategoriale Wert in (0,0, .. ., 1,0, ... 0) (1 ist auf der k-ten Position). Gibt es andere...
Ich versuche, verschiedene RNN-Architekturen (Recurrent Neural Network) zu verstehen, die auf Zeitreihendaten angewendet werden sollen, und bin etwas verwirrt mit den verschiedenen Namen, die häufig bei der Beschreibung von RNNs verwendet werden. Ist die Struktur von Langzeitspeicher (LSTM) und...
Ich bin gespannt, wie wichtig der Bias-Knoten für die Wirksamkeit moderner neuronaler Netze ist. Ich kann leicht verstehen, dass es in einem flachen Netzwerk mit nur wenigen Eingabevariablen wichtig sein kann. Moderne neuronale Netze wie das Deep Learning verfügen jedoch häufig über eine große...
Ich habe theano zum Experimentieren mit LSTMs verwendet und mich gefragt, welche Optimierungsmethoden (SGD, Adagrad, Adadelta, RMSprop, Adam usw.) für LSTMs am besten funktionieren. Gibt es Forschungsarbeiten zu diesem Thema? Hängt die Antwort auch von der Art der Anwendung ab, für die ich das...
Ich habe ein sehr einfaches Problem, aber ich kann kein passendes Werkzeug finden, um es zu lösen. Ich habe eine Folge von Vektoren gleicher Länge. Jetzt möchte ich LSTM RNN auf dem Zugmuster dieser Sequenzen trainieren und es dann machen, um eine neue Sequenz von Vektoren der Länge basierend auf...
Ich wollte durch die keras Faltung docs , und ich habe zwei Arten von convultuion Conv1D und Conv2D gefunden. Ich habe eine Websuche durchgeführt und das ist, was ich über Conv1D und Conv2D verstehe. Conv1D wird für Sequenzen und Conv2D für Bilder verwendet. Ich dachte immer, dass...
Während ich an einem Regressionsproblem arbeitete, begann ich über die Darstellung des Merkmals "Wochentag" nachzudenken. Ich frage mich, welcher Ansatz besser abschneiden würde: ein Merkmal; Wert 1/7 für Montag; 2/7 für Dienstag ... 7 Funktionen: (1, 0, 0, 0, 0, 0, 0) für Montag; (0, 1, 0, 0, 0,...
Ich versuche die mathematische Bedeutung von nichtlinearen Klassifikationsmodellen zu verstehen: Ich habe gerade einen Artikel über neuronale Netze als nichtlineares Klassifikationsmodell gelesen. Aber mir ist nur klar, dass: Die erste Schicht:
Meine Physikprofessoren an der Graduiertenschule sowie der Nobelpreisträger Feynman präsentierten immer das, was sie Spielzeugmodelle nannten, um grundlegende Konzepte und Methoden der Physik wie den harmonischen Oszillator, das Pendel, den Kreisel und die Black Box zu veranschaulichen. Welche...
Viele Online-Tutorials befassen sich mit dem Gradientenabstieg und fast alle verwenden eine feste Schrittgröße (Lernrate ). Warum wird die Zeilensuche nicht verwendet (z. B. Backtracking-Zeilensuche oder exakte
Aus vielen Diskussionen habe ich ähnliche Schlussfolgerungen gezogen, dass die Konvergenz von SGD mit zunehmender Minibatch-Größe tatsächlich schwieriger / schlechter wird, zum Beispiel in diesem Artikel und in dieser Antwort . Ich habe auch von Leuten gehört, die im frühen Stadium Tricks wie...
Wir definieren eine Epoche, in der alle verfügbaren Trainingsmuster durchlaufen wurden, und die Mini-Batch-Größe als die Anzahl der Muster, über die wir den Durchschnitt bilden, um die Aktualisierungen der Gewichte / Vorspannungen zu finden, die zum Abstieg des Gradienten erforderlich sind. Meine...
Die Frage klingt vielleicht etwas seltsam, weil ich statistische Inferenz und neuronale Netze noch nicht kenne. Bei Klassifizierungsproblemen mit neuronalen Netzen wollen wir eine Funktion lernen , die den Raum der Eingänge auf den Raum der Ausgänge abbildet : x yf∗f∗f^*xxxyyy...
Ich habe ein paar Fragen, die mich bezüglich des CNN verwirren. 1) Die mit CNN extrahierten Merkmale sind skalierungs- und drehungsinvariant. 2) Die Kerne, die wir zur Faltung mit unseren Daten verwenden, sind bereits in der Literatur definiert? Was für ein Kernel sind das? ist es für jede...
Wie würden Sie vorgehen, wenn Sie eine halbe Seite haben, um den Ausfall zu erklären ? Welches sind die Gründe für diese
Ich gehe den folgenden Blog im neuronalen LSTM-Netzwerk durch: http://machinelearningmastery.com/understanding-stateful-lstm-recurrent-neural-networks-python-keras/ Der Autor formt den Eingabevektor X als [Beispiele, Zeitschritte, Merkmale] für unterschiedliche Konfigurationen von LSTMs um. Der...
Gegeben sind die 6 Entscheidungsgrenzen unten. Entscheidungsgrenzen sind violette Linien. Punkte und Kreuze sind zwei verschiedene Datensätze. Wir müssen uns entscheiden, welches ein ist: Lineare SVM Kernelized SVM (Polynomkern der Ordnung 2) Perceptron Logistische Regression Neuronales Netzwerk (1...
Ich bin in das Gebiet der neuronalen Netze eingetaucht und habe mich für sie begeistert. Ich habe endlich ein Anwendungsframework zum Testen von Handelssystemen an Börsen entwickelt und werde jetzt mein erstes neuronales Netzwerk darin implementieren. Sehr einfach und primitiv, nicht für den...
In Bishops Buch "Pattern Classification and Machine Learning" beschreibt es eine Technik zur Regularisierung im Kontext neuronaler Netze. Ich verstehe jedoch keinen Absatz, der beschreibt, dass während des Trainings die Anzahl der Freiheitsgrade mit der Komplexität des Modells zunimmt. Das...