Ich arbeite derzeit am Training eines 5-Schicht-Neuronalen Netzwerks, habe einige Probleme mit der Tanh-Schicht und möchte die ReLU-Schicht ausprobieren. Aber ich fand, dass es für die ReLU-Schicht noch schlimmer wird. Ich frage mich, ob es daran liegt, dass ich nicht die besten Parameter gefunden...
Ich habe ein gutes Verständnis für neuronale Netze, Rückausbreitung und Kettenregeln, aber ich habe Schwierigkeiten, die automatische Differenzierung zu verstehen. Das Folgende bezieht sich auf die automatische Differenzierung außerhalb des Kontextes der Rückausbreitung: Wie berechnet die...
Ich habe eine Bilddatenmatrix X∈RN x pX∈ℜN x pX \in \Re^{N \ \text{x}\ p} wo N=50000N=50000N=50000 ist die Anzahl der Bildbeispiele und p=3072p=3072p=3072 ist die Anzahl der Bildpixel: p=3072=32×32×3p=3072=32×32×3p = 3072 = 32 \times 32 \times 3, weil jedes Bild ein 3-Kanal ist 32×3232×3232 \times...
Das als " U-Net " bekannte neuronale Netzwerk (Ronneberger, Fischer und Brox 2015) war eine herausragende Technik in Kaggles jüngstem Ultraschall- Nervensegmentierungswettbewerb , bei dem Algorithmen, die Pixelmasken mit einem hohen Grad an Überlappung mit erzeugten, hohe Punktzahlen verliehen...
Ich habe mich gefragt und versucht zu verstehen, ob es einen mathematischen Grund für die Überlegenheit von RNNs gegenüber Feed-Forward-Netzwerken beim Umgang mit sequentiellen Daten gibt. Zum Beispiel beim Modellieren von Zeitreihen, HMMs usw. Angenommen, die Länge der Sequenz ist fest, aber sehr...
Triplett-basiertes Fernstudium zur Gesichtserkennung scheint sehr effektiv zu sein. Ich bin neugierig auf einen bestimmten Aspekt des Papiers. Um eine Einbettung für ein Gesicht zu finden, normalisieren die Autoren die verborgenen Einheiten mithilfe der L2-Normalisierung, wodurch die Darstellung...
Es gibt eine alte Faustregel für multivariate Statistiken, die mindestens 10 Fälle für jede unabhängige Variable empfiehlt. Aber hier gibt es oft einen Parameter, der für jede Variable passt. Warum ich frage: Ich arbeite an einem Lehrbuchbeispiel, das 500 Trainingsfälle (von 25000 im Datensatz)...
Im Jahr 2015 veröffentlichten Tishby und Zaslavsky ein bekanntes Papier, in dem behauptet wurde, dass das sogenannte Prinzip des Informationsengpasses verwendet werden könnte, um das Verhalten tiefer neuronaler Netze zu verstehen. In einem neueren Artikel (April 2017) erweitern Schwartz-Ziv und...
In den letzten Jahren hat das Gebiet der Objekterkennung nach der Popularisierung des Deep-Learning-Paradigmas einen großen Durchbruch erlebt. Ansätze wie YOLO, SSD oder FasterRCNN halten den Stand der Technik in der allgemeinen Aufgabe der Objekterkennung [ 1 ]. In dem spezifischen...
Ich habe gelesen, dass es vorteilhaft ist, bestimmte Transformationen allgemeiner Funktionen auf Datensätze anzuwenden, bevor sie auf Modelle für maschinelles Lernen treffen. Diese basieren auf der Verteilung der Funktionen des Datensatzes. Beispiel: Anwenden von Protokolltransformationen auf...
Angenommen, Sie haben einen Objekterkennungsdatensatz (z. B. MS COCO oder Pascal VOC) mit N Bildern, in denen k Objektklassen gekennzeichnet sind. Sie trainieren ein neuronales Netzwerk (z. B. Faster-RCNN oder YOLO) und messen die Genauigkeit (z. B. [email protected]). Jetzt führen Sie x zusätzliche...
Nach meinem Verständnis werden Autoencoder verwendet, um eine kompakte Darstellung von Eingabefunktionen zu finden, die die wesentlichen zugrunde liegenden Informationen enthält. Gibt es eine Beziehung zwischen den L2-Abständen im ursprünglichen Eingaberaum und dem reduzierten (kompakten) Raum?...
Angenommen, Sie haben zwei Datensätze D1 und D2. Beide werden von derselben zugrunde liegenden Verteilung X abgetastet. Ich möchte sie zum Trainieren eines neuronalen Netzwerks verwenden. Die Features sind alle vorzeichenlose Ganzzahlen im Bereich [0; 2 ^ 64]. Aufgrund der Tatsache, dass die...
Ich bin daran interessiert zu verstehen, welche neuronale Netzwerkarchitektur derzeit auf dem neuesten Stand der Technik (manchmal mit "SOTA" abgekürzt) in Bezug auf Standardbildklassifizierungsaufgaben wie MNIST, STLN-10 und CIFAR ist. Dies ist eine Herausforderung, da häufig neue Ergebnisse...
Jede Autoencoder-Architektur, die ich gesehen habe, hat eine ähnliche Architektur, hauptsächlich, dass der Decoder genau das Gegenteil des Encoders ist. Wenn das Ziel des Autoencoders das Lernen von niedrigdimensionalen Merkmalen ist, warum ist der Decoder nicht einfach? Ein Beispiel wäre eine...
Lesen Sie unter http://cs231n.github.io/convolutional-networks/#convert , wie Sie die vollständig verbundene Schicht in eine Faltungsschicht umwandeln . Ich bin nur verwirrt über die folgenden zwei Kommentare: Es stellt sich heraus, dass diese Konvertierung es uns ermöglicht, das ursprüngliche...
Ich versuche, die Papier- Bildstilübertragung mithilfe von Faltungs-Neuronalen Netzen zu implementieren . In Abschnitt 2 - Tiefenbilddarstellungen erwähnen die Autoren die folgende Technik zur Gewichtsnormalisierung: Wir haben das Netzwerk normalisiert, indem wir die Gewichte so skaliert haben,...