Ich habe Yoshua Bengios Buch über tiefes Lernen gelesen und auf Seite 224 steht: Faltungsnetzwerke sind einfach neuronale Netzwerke, die Faltung anstelle der allgemeinen Matrixmultiplikation in mindestens einer ihrer Schichten verwenden. Ich war mir jedoch nicht hundertprozentig sicher, wie man...
Insbesondere im Zusammenhang mit Kaggle-Wettbewerben habe ich festgestellt, dass es bei der Leistung des Modells ausschließlich um die Auswahl / Entwicklung von Funktionen geht. Ich kann zwar vollständig verstehen, warum dies bei den konventionelleren / altmodischen ML-Algorithmen der Fall ist,...
Ist es möglich, negative Gewichte (nach genügend Epochen) für tiefe Faltungs-Neuronale Netze zu haben, wenn wir ReLU für alle Aktivierungsschichten
Wie wird die Einbettungsschicht in der Keras-Einbettungsschicht trainiert? (Sagen wir, wir verwenden das Tensorflow-Backend, was bedeutet, dass es word2vec, Glove oder Fasttext ähnelt.) Angenommen, wir verwenden keine vorab trainierte
Ich habe einige Artikel über das manuelle Ausdenken von Bildern gelesen, um ein neuronales Netzwerk zu "täuschen" (siehe unten). Liegt das daran, dass die Netzwerke nur die bedingte Wahrscheinlichkeit modellieren ? Wenn ein Netzwerk die gemeinsame Wahrscheinlichkeit p ( y , x ) modellieren kann...
Kürzlich habe ich einen Artikel von Yann Dauphin et al. Identifizierung und Angriff auf das Sattelpunktproblem bei der hochdimensionalen nichtkonvexen Optimierung , bei der ein interessanter Abstiegsalgorithmus namens " Sattelfreies Newton" eingeführt wird , der genau auf die Optimierung des...
Ich modelliere 15000 Tweets für die Stimmungsvorhersage unter Verwendung eines einschichtigen LSTM mit 128 verborgenen Einheiten unter Verwendung einer word2vec-ähnlichen Darstellung mit 80 Dimensionen. Nach 1 Epoche erhalte ich eine Abstiegsgenauigkeit (38% bei Zufall = 20%). Mehr Training führt...
Geschlossen. Diese Frage ist nicht zum Thema . Derzeit werden keine Antworten akzeptiert. Möchten Sie diese Frage verbessern? Aktualisieren Sie die Frage so dass es beim Thema für Kreuz Validated. Geschlossen vor 9 Monaten . Ich weiß, dass es viele Bibliotheken für maschinelles Lernen und tiefes...
Hintergrund: Ich habe kürzlich auf einer tieferen Ebene die Wichtigkeit der Datenerweiterung beim Training von neuronalen Faltungsnetzen verstanden, nachdem ich diesen ausgezeichneten Vortrag von Geoffrey Hinton gesehen habe . Er erklärt, dass Faltungsneuralnetze der aktuellen Generation den...
Ich möchte wissen, was es ist und wie es sich vom Ensemble unterscheidet. Angenommen, ich möchte für eine bestimmte Aufgabe eine hohe Genauigkeit bei der Klassifizierung und Segmentierung erzielen. Wenn ich dazu verschiedene Netzwerke wie CNN, RNN usw. verwende, wird dies als End-to-End-Modell...
Gibt es Forschergruppen, die daran arbeiten, Deep Learning für kombinatorische Optimierungsprobleme einzusetzen?
Dies geschieht unter Bezugnahme auf das Papier Effiziente Objektlokalisierung mithilfe von Faltungsnetzwerken. Soweit ich weiß, ist das Dropout in 2D implementiert. Nachdem der Code von Keras zur Implementierung des räumlichen 2D-Dropouts gelesen wurde, wird im Grunde eine zufällige binäre Maske...
Ich habe eine Rastersuche für eine Reihe von Parametern eingerichtet. Ich versuche, die besten Parameter für ein neuronales Keras-Netz zu finden, das eine binäre Klassifizierung durchführt. Die Ausgabe ist entweder eine 1 oder eine 0. Es gibt ungefähr 200 Funktionen. Als ich eine Rastersuche...
Angenommen, ich verwende ein RNN / LSTM, um eine Stimmungsanalyse durchzuführen, bei der es sich um einen 1: 1-Ansatz handelt (siehe diesen Blog ). Das Netzwerk wird durch eine verkürzte Backpropagation Through Time (BPTT) trainiert, bei der das Netzwerk wie gewohnt nur für 30 letzte Schritte...
Ich verstehe, dass bei einer Reihe von unabhängigen Beobachtungen der Maximum Likelihood Estimator (oder äquivalent der MAP mit flachem / einheitlichem Prior), der die Parameter \ mathbf {θ} identifiziert , die die Modellverteilung p_ {model} \ erzeugen links (\, \ cdot \ ,; \ mathbf {θ} \...
Der Batch-Normalisierung wurden erhebliche Leistungsverbesserungen in tiefen neuronalen Netzen zugeschrieben. Zahlreiches Material im Internet zeigt, wie es von Aktivierung zu Aktivierung umgesetzt werden kann. Ich habe Backprop bereits mithilfe der Matrixalgebra implementiert, und da ich in...
Ein Außenseiter des ML / DL-Bereichs; hat den Udacity Deep Learning Kurs begonnen, der auf Tensorflow basiert; Aufgabe 3 erledigen Aufgabe 4; versuchen, die Lernrate mit der folgenden Konfiguration zu optimieren: Losgröße 128 Anzahl der Schritte: genug, um 2 Epochen zu füllen Größen der...
Ich las die Arbeit Deep Residual Learning for Image Recognition und hatte Schwierigkeiten, mit 100% iger Sicherheit zu verstehen, was ein Restblock rechnerisch bedeutet. Beim Lesen ihrer Zeitung haben sie Abbildung 2: Dies zeigt, was ein Restblock sein soll. Ist die Berechnung eines Restblocks...
Hintergrund: Ich studiere Kapitel 6 von Deep Learning von Ian Goodfellow und Yoshua Bengio und Aaron Courville. In Abschnitt 6.2.2.2 (Seiten 182 von 183, die hier eingesehen werden können ) wird die Verwendung von Sigmoid zur Ausgabe von P(y=1|x)P(y=1|x)P(y=1|x) motiviert. Um einen Teil des...
Der jüngste Fortschritt bei neuronalen Netzen wird durch eine Reihe neuer Architekturen zusammengefasst, die sich hauptsächlich durch ihre wachsende Designkomplexität auszeichnen. Von LeNet5 (1994) über AlexNet (2012) bis zu Overfeat (2013) und GoogleLeNet / Inception (2014) und so weiter ... Gibt...