Ein neues Gebiet der maschinellen Lernforschung, das sich mit den Technologien befasst, die zum Lernen hierarchischer Darstellungen von Daten verwendet werden, hauptsächlich mit tiefen neuronalen Netzen (dh Netzen mit zwei oder mehr verborgenen Schichten), aber auch mit einer Art probabilistischer grafischer Modelle.
In Bezug auf die Stanford-Kursnotizen zu Faltungs-Neuronalen Netzen für die visuelle Erkennung heißt es in einem Absatz: "Leider können ReLU-Einheiten während des Trainings zerbrechlich sein und" sterben ". Beispielsweise kann ein großer Gradient, der durch ein ReLU-Neuron fließt, dazu führen, dass...
Der Hauptunterschied zwischen einer GRU und einem LSTM besteht darin, dass eine GRU zwei Gatter hat ( Reset- und Update- Gatter), während eine LSTM drei Gatter hat (nämlich Eingabe- , Ausgabe- und Vergessen- Gatter). Warum setzen wir GRU ein, wenn wir über das LSTM-Modell eine deutlich bessere...
Ich arbeite derzeit an der Implementierung von Stochastic Gradient Descent SGDfür neuronale Netze unter Verwendung von Backpropagation, und obwohl ich den Zweck verstehe, habe ich einige Fragen zur Auswahl von Werten für die Lernrate. Bezieht sich die Lernrate auf die Form des Fehlergradienten, da...
Wenn man eine Arbeit schreibt / eine Präsentation über ein Thema macht, das sich mit neuronalen Netzwerken befasst, visualisiert man normalerweise die Netzwerkarchitektur. Was sind gute / einfache Möglichkeiten, um gängige Architekturen automatisch zu
Ich habe mein Modell gebaut. Jetzt möchte ich das Netzwerkarchitekturdiagramm für meine Forschungsarbeit zeichnen. Beispiel ist unten gezeigt:
Das Problem, mit dem ich mich beschäftige, ist die Vorhersage von Zeitreihenwerten. Ich betrachte jeweils eine Zeitreihe und möchte anhand von beispielsweise 15% der Eingabedaten deren zukünftige Werte vorhersagen. Bisher bin ich auf zwei Modelle gestoßen: LSTM (Long Short Term Memory; eine Klasse...
Ich wusste, dass das Residual Network (ResNet) die normale Initialisierung populär machte. In ResNet wird die normale He-Initialisierung verwendet , während die erste Ebene die einheitliche He-Initialisierung verwendet. Ich habe das ResNet-Papier und das "Delving Deep into Rectifiers" -Papier...
Als ich mit künstlichen neuronalen Netzen (NN) anfing, dachte ich, ich müsste die Überanpassung als Hauptproblem bekämpfen. In der Praxis kann ich nicht einmal meinen NN dazu bringen, die 20% Fehlerrate zu überschreiten. Ich kann nicht einmal meine Punktzahl auf zufälligen Wald schlagen! Ich suche...
Wie viele Parameter hat ein einzelner gestapelter LSTM? Die Anzahl der Parameter legt eine Untergrenze für die Anzahl der erforderlichen Trainingsbeispiele fest und beeinflusst auch die Trainingszeit. Daher ist es für Trainingsmodelle mit LSTMs hilfreich, die Anzahl der Parameter zu...
Ich habe ein wenig über LSTMs und ihre Verwendung für Zeitreihen nachgelesen und es war interessant, aber gleichzeitig schwierig. Eine Sache, die ich bisher nicht verstanden habe, ist der Ansatz, zusätzliche Funktionen zu einer Liste von Zeitreihenfunktionen hinzuzufügen. Angenommen, Sie haben...
Ich habe oft gelesen, dass bei Deep-Learning-Modellen die übliche Praxis darin besteht, Mini-Batches (im Allgemeinen kleine, 32/64) über mehrere Trainingsepochen anzuwenden. Ich kann den Grund dafür nicht wirklich ergründen. Wenn ich mich nicht irre, gibt die Stapelgröße die Anzahl der...
Ich bin dabei, ein großes LSTM-Netzwerk mit 2-3 Millionen Artikeln zu trainieren und habe Probleme mit Speicherfehlern (ich verwende AWS EC2 g2x2large). Ich fand heraus, dass eine Lösung darin besteht, die batch_size. Ich bin mir jedoch nicht sicher, ob dieser Parameter nur mit Problemen der...
Ich habe Probleme, den Unterschied zwischen der Äquivariante zur Übersetzung und der Invariante zur Übersetzung zu verstehen . In dem Buch Deep Learning . MIT Press, 2016 (I. Goodfellow, A. Courville und Y. Bengio), findet man in den Faltungsnetzwerken: [...] die besondere Form der...
Es war üblich, dass Benutzer verschiedener Communities lustige Dinge über ihre Felder zitierten. Es kann Spaß machen, Ihre lustigen Dinge über maschinelles Lernen, Deep Learning, Data Science und die Dinge, mit denen Sie jeden Tag konfrontiert sind, zu
Angenommen, ich erstelle eine NN für die Klassifizierung. Die letzte Schicht ist eine dichte Schicht mit Softmax-Aktivierung. Ich habe fünf verschiedene Klassen zu klassifizieren. Angenommen, für ein einzelnes Trainingsbeispiel true labelist das, [1 0 0 0 0]während die Vorhersagen sind [0.1 0.5 0.1...
Wie können Sie in der Keras-Bibliothek (oder im Tensorflow) programmieren, um das Training auf mehrere GPUs aufzuteilen? Angenommen, Sie befinden sich in einer Amazon ec2-Instanz mit 8 GPUs und möchten alle verwenden, um schneller zu trainieren. Ihr Code ist jedoch nur für eine einzelne CPU oder...
Ich habe über NCE (eine Form der Stichprobenauswahl) aus diesen beiden Quellen gelesen: Tensorflow-Zuschreibung Original Papier Kann mir jemand bei Folgendem helfen: Eine einfache Erklärung der Funktionsweise von NCE (Ich fand es schwierig, das oben Genannte zu analysieren und zu verstehen. Etwas...
In letzter Zeit gibt es ein Papier zur Ebenennormalisierung . Es gibt auch eine Implementierung auf Keras. Aber ich erinnere mich, dass es Artikel mit dem Titel Recurrent Batch Normalization (Cooijmans, 2016) und Batch Normalized Recurrent Neural Networks (Laurent, 2015) gibt. Was ist der...
Warum Softmax im Gegensatz zur Standardnormalisierung verwenden? Im Kommentarbereich der oberen Antwort auf diese Frage hat @Kilian Batzner zwei Fragen aufgeworfen, die mich ebenfalls sehr verwirren. Es scheint, dass niemand eine Erklärung abgesehen von numerischen Vorteilen gibt. Ich habe die...
Ich habe ein Problem mit großen Datenmengen (z. B. 50 Millionen Zeilen und 200 Spalten). Das Dataset besteht aus ungefähr 100 numerischen Spalten und 100 kategorialen Spalten sowie einer Antwortspalte, die ein Binärklassenproblem darstellt. Die Kardinalität jeder der kategorialen Spalten beträgt...