Ich versuche, die Rezeptionsfelder von CNN besser zu verstehen. Dazu möchte ich das Empfangsfeld jedes Neurons in LeNet berechnen. Für ein normales MLP ist es ziemlich einfach (siehe http://deeplearning.net/tutorial/lenet.html#sparse-connectivity ), aber es ist schwieriger, das Empfangsfeld eines...
In CNN lernen wir Filter, um eine Feature-Map in einer Faltungsschicht zu erstellen. In Autoencoder kann die einzelne verborgene Einheit jeder Ebene als Filter betrachtet werden. Was ist der Unterschied zwischen den Filtern, die in diesen beiden Netzwerken gelernt
In der Arbeit über ein vollständig faltungsorientiertes neuronales Netzwerk erwähnen die Autoren sowohl das Patch-weise Training als auch das vollständig faltungsorientierte Training. Mein Verständnis für den Aufbau des Trainingssets ist wie folgt: M*MExtrahieren Sie bei einem gegebenen Bild...
Es ist ziemlich intuitiv, dass die meisten Topologien / Architekturen neuronaler Netze nicht identifizierbar sind. Aber was sind einige bekannte Ergebnisse auf diesem Gebiet? Gibt es einfache Bedingungen, die eine Identifizierbarkeit ermöglichen / verhindern? Zum Beispiel, Alle Netzwerke mit...
Ich wollte ein Netzwerk mit Nichtlinearitäten trainieren, die unter dem Verschwinden leiden (oder dem explodierenden Gradientenproblem, obwohl es hauptsächlich verschwindet). Ich weiß, dass die (derzeitige) Standardmethode darin besteht, die Chargennormalisierung 1 [BN] 1 zu verwenden oder einfach...
Sollte ich mein neuronales Netzwerk im Allgemeinen mit weniger Neuronen neu trainieren, damit es weniger tote ReLU-Neuronen hat? Ich habe widersprüchliche Meinungen über tote ReLUs gelesen. Einige Quellen sagen, dass tote ReLUs gut sind, weil sie die Sparsamkeit fördern. Andere sagen, dass sie...
Ich habe ein neuronales Faltungsnetzwerk erstellt und wollte mithilfe der numerischen Gradientenprüfung überprüfen, ob meine Gradienten korrekt berechnet werden. Die Frage ist, wie nah ist nah genug? Meine Überprüfungsfunktion spuckt nur die berechnete Ableitung, die numerisch angenäherte...
Ich habe einen Stapel von Artikeln über Faltungsnetzwerke und das Lernen der Verstärkung gelesen. Ich erinnere mich an ein wichtiges Papier mit einer nicht rechteckigen Form der Faltungsschicht (die grüne Form in dieser albernen Zeichnung). Aber jetzt kann ich es nicht finden. Es könnte etwas...
Das als " U-Net " bekannte neuronale Netzwerk (Ronneberger, Fischer und Brox 2015) war eine herausragende Technik in Kaggles jüngstem Ultraschall- Nervensegmentierungswettbewerb , bei dem Algorithmen, die Pixelmasken mit einem hohen Grad an Überlappung mit erzeugten, hohe Punktzahlen verliehen...
Ich habe das Papier zur Chargennormalisierung (BN) (1) gelesen und es stand: Zu diesem Zweck verwenden wir nach dem Training des Netzwerks die Normalisierung Verwendung der Grundgesamtheit anstelle von mini -Batch, Statistiken.x^=x - E.[ x ]V.a r [ x ] + ϵ- -- -- -- -- -- -- -- -√x^=x-...
Weiß jemand, ob es eine Verallgemeinerung des Faltungsnetzwerks gibt, das eher mit 4D-Eingangstensoren als mit 3D arbeitet? Nach meinem Verständnis akzeptieren Faltungsnetzwerkfilter im Allgemeinen eine bestimmte Spanne von x-, y-Koordinaten pro Filter und die gesamte Tiefe dieser Spanne. Ich habe...
Ich bin daran interessiert zu verstehen, welche neuronale Netzwerkarchitektur derzeit auf dem neuesten Stand der Technik (manchmal mit "SOTA" abgekürzt) in Bezug auf Standardbildklassifizierungsaufgaben wie MNIST, STLN-10 und CIFAR ist. Dies ist eine Herausforderung, da häufig neue Ergebnisse...
Lesen Sie unter http://cs231n.github.io/convolutional-networks/#convert , wie Sie die vollständig verbundene Schicht in eine Faltungsschicht umwandeln . Ich bin nur verwirrt über die folgenden zwei Kommentare: Es stellt sich heraus, dass diese Konvertierung es uns ermöglicht, das ursprüngliche...
Ich versuche, die Papier- Bildstilübertragung mithilfe von Faltungs-Neuronalen Netzen zu implementieren . In Abschnitt 2 - Tiefenbilddarstellungen erwähnen die Autoren die folgende Technik zur Gewichtsnormalisierung: Wir haben das Netzwerk normalisiert, indem wir die Gewichte so skaliert haben,...