Ich beschäftige mich mit CNNs (Convolutional Neural Networks) aufgrund ihrer Anwendungen in der Bildverarbeitung. Ich bin bereits mit standardmäßigen neuronalen Feed-Forward-Netzen vertraut, daher hoffe ich, dass einige Leute hier mir helfen können, den zusätzlichen Schritt zum Verständnis von CNNs...
Beim Erlernen des neuronalen Faltungsnetzwerks habe ich Fragen zu der folgenden Abbildung. 1) C1 in Layer 1 hat 6 Feature-Maps. Bedeutet das, dass es sechs Faltungskerne gibt? Jeder Faltungskernel wird verwendet, um eine Feature-Map auf der Grundlage von Eingaben zu generieren. 2) S1 in Schicht 2...
Ich möchte ein Projekt zur optischen Zeichenerkennung (OCR) durchführen. Nach einigen Recherchen bin ich auf eine Architektur gestoßen, die interessant erscheint: CNN + RNN + CTC. Ich bin mit verschachtelten neuronalen Netzen (CNN) und wiederkehrenden neuronalen Netzen (RNN) vertraut, aber was ist...
Der universelle Approximationssatz ist ein ziemlich bekanntes Ergebnis für neuronale Netze, das im Grunde besagt, dass unter bestimmten Annahmen eine Funktion durch ein neuronales Netz mit beliebiger Genauigkeit einheitlich approximiert werden kann. Gibt es ein analoges Ergebnis, das für...
In einigen Tutorials wurde festgestellt, dass die "Xavier" -Gewichtsinitialisierung (Artikel: Verständnis der Schwierigkeit, tiefe Feedforward-Neuronale Netze zu trainieren ) ein effizienter Weg ist, um die Gewichte von Neuronalen Netzen zu initialisieren. Für vollständig verbundene Ebenen gab es...
Ich habe eine "permutationsinvariante" Version der MNIST-Ziffernerkennungsaufgabe gesehen. Was bedeutet
In neuronalen Faltungsnetzen (CNN) werden die Zeilen und Spalten der Gewichtungsmatrix bei jedem Schritt umgedreht, um die Kernelmatrix zu erhalten, bevor mit der Faltung fortgefahren wird. Dies wird in einer Reihe von Videos von Hugo Larochelle hier erklärt : Berechnung der versteckten Karten...
Ich habe über den Adam-Optimierer für Deep Learning gelesen und bin in dem neuen Buch Deep Learning von Begnio, Goodfellow und Courtville auf folgenden Satz gestoßen: Adam schließt Vorspannungskorrekturen an den Schätzungen sowohl der Momente erster Ordnung (dem Impulsausdruck) als auch der...
Wenn ich ein Convolutional Neural Network (CNN) mit etwa 1.000.000 Parametern habe, wie viele Trainingsdaten werden benötigt (vorausgesetzt, ich mache einen stochastischen Gradientenabstieg)? Gibt es eine Faustregel? Zusätzliche Hinweise: Wenn ich einen stochastischen Gradientenabstieg...
Geschlossen. Diese Frage ist nicht zum Thema . Derzeit werden keine Antworten akzeptiert. Möchten Sie diese Frage verbessern? Aktualisieren Sie die Frage so dass es beim Thema für Kreuz Validated. Geschlossen vor 9 Monaten . Ich weiß, dass es viele Bibliotheken für maschinelles Lernen und tiefes...
Ist es möglich, negative Gewichte (nach genügend Epochen) für tiefe Faltungs-Neuronale Netze zu haben, wenn wir ReLU für alle Aktivierungsschichten
Ich las die Arbeit Deep Residual Learning for Image Recognition und hatte Schwierigkeiten, mit 100% iger Sicherheit zu verstehen, was ein Restblock rechnerisch bedeutet. Beim Lesen ihrer Zeitung haben sie Abbildung 2: Dies zeigt, was ein Restblock sein soll. Ist die Berechnung eines Restblocks...
Sowohl die Begriffe "Upsampling" als auch "Transponierungsfaltung" werden verwendet, wenn Sie "Entfaltung" durchführen (<- kein guter Begriff, aber lassen Sie mich ihn hier verwenden). Ursprünglich dachte ich, dass sie dasselbe bedeuten, aber es scheint mir, dass sie sich unterscheiden, nachdem...
Die Topologie des Google Inception-Modells finden Sie hier: Google Inception Netowrk Mir ist aufgefallen, dass dieses Modell 3 Softmax-Schichten enthält (Nr. 154, Nr. 152, Nr. 145), von denen 2 eine Art frühes Entkommen dieses Modells darstellen. Soweit ich weiß, ist die Softmax-Ebene für die...
Hier ist ein Keras-Codebeispiel, das es verwendet: from keras.constraints import max_norm model.add(Convolution2D(32, 3, 3, input_shape=(3, 32, 32), border_mode='same', activation='relu', kernel_constraint=max_norm(3)))
Lesen Mit Faltungen tiefer gehen Ich stieß auf eine DepthConcat- Ebene, einen Baustein der vorgeschlagenen Inception- Module , der die Ausgabe mehrerer Tensoren unterschiedlicher Größe kombiniert. Die Autoren nennen dies "Filterverkettung". Es scheint eine Implementierung für Torch zu geben , aber...
Geschlossen. Diese Frage ist nicht zum Thema . Derzeit werden keine Antworten akzeptiert. Möchten Sie diese Frage verbessern? Aktualisieren Sie die Frage so dass es beim Thema für Kreuz Validated. Geschlossen im vergangenen Jahr . Das Training nach 15...
Ich habe das Batch-Normalisierungspapier [1] gelesen und es hatte einen Abschnitt, in dem ein Beispiel behandelt wird, um zu zeigen, warum die Normalisierung sorgfältig durchgeführt werden muss. Ich kann ehrlich gesagt nicht verstehen, wie das Beispiel funktioniert, und ich bin wirklich sehr...
Ich möchte Deep Learning verwenden, um eine binäre Erkennung von Gesichtern / Nicht-Gesichtern zu trainieren. Welchen Verlust soll ich verwenden ? Ich denke, es ist SigmoidCrossEntropyLoss oder Hinge-loss . Stimmt das, aber ich frage mich auch, ob ich Softmax verwenden soll, aber nur mit zwei...
Wie sind die Aktivierungskarten auf einer bestimmten Ebene mit den Filtern für diese Ebene verbunden? Ich frage nicht nach einer Faltungsoperation zwischen dem Filter und der Aktivierungskarte, sondern nach der Art der Konnektivität, die diese beiden haben. Angenommen, Sie möchten eine vollständige...