In fast allen Codebeispielen, die ich von einer VAE gesehen habe, sind die Verlustfunktionen wie folgt definiert (dies ist ein Tensorflow-Code, aber ich habe ähnliche für Theano, Fackel usw. gesehen. Es ist auch für ein Convnet, aber das ist auch nicht allzu relevant betrifft nur die Achsen, die...
Ich habe hier folgendes gelesen : Sigmoid-Ausgänge sind nicht nullzentriert . Dies ist unerwünscht, da Neuronen in späteren Verarbeitungsebenen in einem neuronalen Netzwerk (dazu bald mehr) Daten empfangen würden, die nicht nullzentriert sind. Dies hat Auswirkungen auf die Dynamik beim...
Ich interessiere mich für die Regression mit neuronalen Netzen. Neuronale Netze mit Null versteckten Knoten und Sprungschichtverbindungen sind lineare Modelle. Was ist mit den gleichen neuronalen Netzen, aber mit versteckten Knoten? Ich frage mich, welche Rolle die Sprungschichtverbindungen...
Ich möchte Deep Learning in meinem Projekt einsetzen. Ich habe ein paar Artikel durchgesehen und mir ist die Frage gekommen: Gibt es einen Unterschied zwischen dem neuronalen Faltungsnetz und dem tiefen Lernen? Sind diese Dinge gleich oder haben sie größere Unterschiede und was ist...
Warum werden Aktivierungsfunktionen von gleichgerichteten Lineareinheiten (ReLU) als nicht linear betrachtet? f( x ) = max ( 0 , x )f(x)=max(0,x) f(x) = \max(0,x) Sie sind linear, wenn der Eingang positiv ist, und nach meinem Verständnis sind nichtlineare Aktivierungen ein Muss, um die...
Geschlossen . Diese Frage ist meinungsbasiert . Derzeit werden keine Antworten akzeptiert. Möchten Sie diese Frage verbessern? Aktualisieren Sie die Frage, damit sie mit Fakten und Zitaten beantwortet werden kann, indem Sie diesen Beitrag bearbeiten . Geschlossen vor 2 Jahren . Grundlegendes...
Was sind die Vorteile, warum sollte man mehrere nebeneinander gestapelte LSTMs in einem tiefen Netzwerk verwenden? Ich verwende einen LSTM, um eine Folge von Eingaben als eine einzige Eingabe darzustellen. Also, wenn ich diese einzige Darstellung habe - warum sollte ich sie noch einmal...
Ich habe über den Adam-Optimierer für Deep Learning gelesen und bin in dem neuen Buch Deep Learning von Bengio, Goodfellow und Courville auf folgenden Satz gestoßen: Adam wird allgemein als ziemlich robust gegenüber der Auswahl von Hyperparametern angesehen, obwohl die Lernrate manchmal von der...
In Alex Krizhevsky et al. Imagenet-Klassifikation mit tiefen neuronalen Faltungsnetzen zählt sie die Anzahl der Neuronen in jeder Schicht auf (siehe Abbildung unten). Die Eingabe des Netzwerks ist 150.528-dimensional und die Anzahl der Neuronen in den verbleibenden Schichten des Netzwerks wird...
Ich versuche, Faltungs-Neuronale Netze besser zu verstehen, indem ich Python-Code schreibe, der nicht von Bibliotheken (wie Convnet oder TensorFlow) abhängt Durchführen einer Faltung an einem Bild. Ich versuche, die Implementierungsdetails im Schritt zwischen Feature-Maps in der folgenden Abbildung...
Gemäß dieser und dieser Antwort, scheinen Autoencoder eine Technik zu sein , das neuronale Netze für Dimensionsreduktion verwendet. Ich möchte zusätzlich wissen , was ist ein Variationsautoencoder (seine wichtigsten Unterschiede / Vorteile gegenüber einem „traditionellen“ Autoencoder) und auch das,...
In den letzten Jahren wurden in verschiedenen Deep-Learning-Artikeln Aufmerksamkeitsmechanismen eingesetzt. Ilya Sutskever, Forschungsleiter bei Open AI, hat sie begeistert gelobt: https://towardsdatascience.com/the-fall-of-rnn-lstm-2d1594c74ce0 Eugenio Culurciello von der Purdue University hat...
Ich versuche also, Bilder von Menschen mit Faltungsnetzen zu trainieren. Ich habe die Papiere ( Paper1 und Paper2 ) und diesen Stackoverflow-Link gelesen , bin mir jedoch nicht sicher, ob ich die Struktur der Netze verstehe (in den Papieren ist dies nicht genau definiert). Fragen: Ich kann meine...
Mir ist bewusst, dass es viele Fortschritte in Bezug auf Bilderkennung, Bildklassifizierung usw. bei tiefen, faltungsbedingten neuronalen Netzen gegeben hat. Aber wenn ich ein Netz beispielsweise mit PNG-Bildern trainiere, funktioniert dies nur für Bilder, die so codiert sind? Welche anderen...
Gibt es gute Papiere, die einige methodische Methoden zum Auswählen der Dimensionen für Filter, zum Zusammenfassen der Einheiten und zum Bestimmen der Anzahl der Faltungsschichten
Ich habe einem Vortrag zugehört und diese Folie gesehen: Wie wahr ist
Wir definieren eine Engpassarchitektur als den Typ, der im ResNet-Artikel zu finden ist, in dem [zwei 3x3-Conv-Ebenen] durch [eine 1x1- Conv-Ebene , eine 3x3-Conv-Ebene und eine weitere 1x1-Conv-Ebene] ersetzt werden. Ich verstehe, dass die 1x1-Conv-Ebenen als eine Form der Dimensionsreduktion...
Hintergrund: Ja, die eingeschränkte Boltzmann-Maschine (RBM) kann verwendet werden, um die Gewichte eines neuronalen Netzwerks zu initiieren. Außerdem KANN es "Schicht für Schicht" verwendet werden, um ein tiefes Glaubensnetzwerk aufzubauen (d. H. Eine te Schicht auf der ( n - 1 ) -ten Schicht zu...
Ich arbeite seit einiger Zeit mit Convolutional Neural Networks (CNNs), hauptsächlich mit Bilddaten für die semantische Segmentierung / Instanzsegmentierung. Ich habe mir den Softmax der Netzwerkausgabe oft als "Heatmap" vorgestellt, um zu sehen, wie hoch die Aktivierungen pro Pixel für eine...
Vor kurzem habe ich mich mit dem Erlernen von Boosting-Algorithmen wie Adaboost und Gradienten-Boost befasst, und ich kenne die Tatsache, dass der am häufigsten verwendete schwache Lernende Bäume sind. Ich möchte wirklich wissen, ob es in letzter Zeit einige erfolgreiche Beispiele (ich meine einige...