Beim maschinellen Lernen (für Regressionsprobleme) sehe ich häufig, dass der mittlere quadratische Fehler (MSE) oder der mittlere absolute Fehler (MAE) als Fehlerfunktion zum Minimieren verwendet werden (plus Regularisierungsterm). Ich frage mich, ob es Situationen gibt, in denen die Verwendung des...
Pooling und Schritt beide können verwendet werden, um das Bild herunterzusampeln. Nehmen wir an, wir haben ein Bild von 4x4 wie unten und einen Filter von 2x2. Wie entscheiden wir dann, ob (2x2 Pooling) vs. (Schritt 2) verwendet werden
Bei Computer-Vision-Aufgaben wie der Objektklassifizierung mit Convolutional Neural Networks (CNN) bietet das Netzwerk eine ansprechende Leistung. Ich bin mir jedoch nicht sicher, wie ich die Parameter in Faltungsschichten einrichten soll. Beispielsweise kann bei einem Graustufenbild ( 480x480) die...
Ich habe einen unausgeglichenen Datensatz in einer binären Klassifizierungsaufgabe, bei der die positive Menge gegenüber der negativen Menge 0,3% gegenüber 99,7% beträgt. Die Kluft zwischen Positiven und Negativen ist groß. Wenn ich ein CNN mit der im MNIST-Problem verwendeten Struktur trainiere,...
Wann möchte man beim Training eines RNN oder CNN ein Gradienten-Clipping durchführen? Letzteres interessiert mich besonders. Was wäre ein guter Startwert für das Abschneiden? (es kann natürlich abgestimmt
Ich frage mich, welche nützlichen Techniken es gibt, um zu überprüfen, ob eine Implementierung eines neuronalen Netzwerks korrekt funktioniert. Im Folgenden sind einige mir bekannte Schecks aufgeführt. Es würde mich interessieren, mehr davon zu erfahren: Zeichnen einiger Metriken (F1-Punktzahl,...
Ist es möglich, ein neuronales Netzwerk zu trainieren, um Bilder in einem bestimmten Stil zu zeichnen? (Es nimmt also ein Bild auf und zeichnet es in einem Stil neu, für den es trainiert wurde.) Gibt es eine zugelassene Technologie für so etwas? Ich kenne den DeepArt-Algorithmus. Es ist gut, das...
In dem kürzlich erschienenen WaveNet-Artikel beziehen sich die Autoren auf ihr Modell mit gestapelten Schichten erweiterter Windungen. Sie erstellen auch die folgenden Diagramme, in denen der Unterschied zwischen "regulären" und erweiterten Faltungen erläutert wird. Die regulären Faltungen sehen...
Gibt es eine Faustregel zwischen der Tiefe eines neuronalen Netzwerks und der Lernrate? Mir ist aufgefallen, dass die Lernrate umso niedriger sein muss, je tiefer das Netzwerk ist. Wenn das richtig ist, warum ist das
In Bezug auf den Unterschied zwischen neuronalen Netzen und Deep Learning können wir verschiedene Elemente auflisten, z. B. mehr Ebenen, umfangreiche Datenmengen und leistungsstarke Computerhardware, um das Training komplizierter Modelle zu ermöglichen. Gibt es außerdem eine detailliertere...
Das folgende Beispiel stammt aus den Vorlesungen in deeplearning.ai zeigt, dass das Ergebnis die Summe des Element-für-Element-Produkts (oder der "elementweisen Multiplikation") ist. Die roten Zahlen stehen für die Gewichte im
Ich verwende Bidirectional RNN, um ein Ereignis mit unausgeglichenem Auftreten zu erkennen. Die positive Klasse ist 100-mal seltener als die negative Klasse. Obwohl keine Regularisierung verwendet wird, kann ich eine 100% ige Genauigkeit für das Zugset und 30% für das Validierungsset erhalten. Ich...
Ich habe Zweifel, wie genau die Verlustfunktion eines Deep Q-Learning-Netzwerks trainiert wird. Ich verwende ein 2-Schicht-Feedforward-Netzwerk mit linearer Ausgangsschicht und relu versteckten Schichten. Nehmen wir an, ich habe 4 mögliche Aktionen. Somit ist der Ausgang von dem Netzwerk für den...
Ich habe einen Datensatz mit 34 Eingabespalten und 8 Ausgabespalten. Eine Möglichkeit, das Problem zu lösen, besteht darin, die 34 Eingaben zu verwenden und für jede Ausgabespalte ein individuelles Regressionsmodell zu erstellen. Ich frage mich, ob dieses Problem mit nur einem Modell gelöst werden...
Ich arbeite an der Arbeit von Cho 2014 , in der die Encoder-Decoder-Architektur für die seq2seq-Modellierung vorgestellt wurde. In der Arbeit scheinen sie die Wahrscheinlichkeit der Ausgabe bei gegebener Eingabe (oder deren negative Log-Wahrscheinlichkeit) als Verlustfunktion für eine Eingabe der...
Was bedeuten sie im schnelleren RCNN-Artikel, wenn es um die Verankerung geht, unter Verwendung von "Pyramiden von Referenzboxen" und wie wird dies getan? Bedeutet dies nur, dass an jedem der W * H * k-Ankerpunkte ein Begrenzungsrahmen erzeugt wird? Wobei W = Breite, H = Höhe und k = Anzahl der...
Was ist der Unterschied zwischen der automatischen Codierung von Variations-Bayes und der stochastischen Backpropagation für tiefe generative Modelle ? Führt die Schlussfolgerung bei beiden Methoden zu denselben Ergebnissen? Mir sind keine expliziten Vergleiche zwischen den beiden Methoden bekannt,...
Ich versuche, die Rezeptionsfelder von CNN besser zu verstehen. Dazu möchte ich das Empfangsfeld jedes Neurons in LeNet berechnen. Für ein normales MLP ist es ziemlich einfach (siehe http://deeplearning.net/tutorial/lenet.html#sparse-connectivity ), aber es ist schwieriger, das Empfangsfeld eines...
Ich lese dieses Papier: Skype-Übersetzer, bei dem CD-DNN-HMMs (kontextabhängige tiefe neuronale Netze mit Hidden-Markov-Modellen) verwendet werden. Ich kann die Idee des Projekts und die Architektur, die sie entworfen haben, verstehen, aber ich verstehe nicht, was die Senone sind . Ich habe nach...
Nach dem Lesen vieler Deep-Learning-Artikel besteht eine Art raues Gefühl darin, dass es viele Tricks gibt, das Netzwerk zu trainieren, um eine überdurchschnittliche Leistung zu erzielen. Aus Sicht der Branchenanwendungen ist es sehr schwierig, diese Art von Tricks zu entwickeln, mit Ausnahme der...