Ich verstehe, dass Pretraining verwendet wird, um einige Probleme beim konventionellen Training zu vermeiden. Wenn ich Backpropagation mit beispielsweise einem Autoencoder verwende, weiß ich, dass ich auf Zeitprobleme stoßen werde, weil die Backpropagation langsam ist und ich auch in lokalen Optima...
Ich verstehe, dass neuronale Netze (NNs) unter bestimmten Voraussetzungen (sowohl für das Netz als auch für die zu approximierende Funktion) als universelle Approximatoren für beide Funktionen und ihre Ableitungen angesehen werden können. Tatsächlich habe ich eine Reihe von Tests mit einfachen,...
Ich habe mich gefragt, ob es möglich ist, eine SVM (sagen wir eine lineare, um die Sache zu vereinfachen) mit Backpropagation zu trainieren. Derzeit bin ich an einer Straßensperre, weil ich nur daran denken kann, die Ausgabe des Klassifikators als zu schreiben f( x ; θ , b ) = sgn ( θ ⋅ x - ( b + 1...
Ich betrachte die entropieübergreifende Kostenfunktion in diesem Tutorial : C=−1n∑x[ylna+(1−y)ln(1−a)]C=−1n∑x[ylna+(1−y)ln(1−a)]C = -\frac{1}{n} \sum_x [y \ln a+(1−y)\ln(1−a)] Worüber summieren wir genau? Es ist natürlich über , aber und ändern sich nicht mit . Alle sind Eingaben in die . wird...
Klassifizierungsprobleme mit nichtlinearen Grenzen können nicht mit einem einfachen Perzeptron gelöst werden . Der folgende R-Code dient nur zur Veranschaulichung und basiert auf diesem Beispiel in Python. nonlin <- function(x, deriv = F) { if (deriv) x*(1-x) else 1/(1+exp(-x)) } X <-...
In dem kürzlich erschienenen WaveNet-Artikel beziehen sich die Autoren auf ihr Modell mit gestapelten Schichten erweiterter Windungen. Sie erstellen auch die folgenden Diagramme, in denen der Unterschied zwischen "regulären" und erweiterten Faltungen erläutert wird. Die regulären Faltungen sehen...
Ich beginne mit tiefem Lernen und habe eine Frage, deren Antwort ich nicht finden konnte, vielleicht habe ich nicht richtig gesucht. Ich habe diese Antwort gesehen , aber es ist immer noch nicht klar, was der Gewichtsverlust ist und wie er mit der Verlustfunktion
Ich frage mich, welche nützlichen Techniken es gibt, um zu überprüfen, ob eine Implementierung eines neuronalen Netzwerks korrekt funktioniert. Im Folgenden sind einige mir bekannte Schecks aufgeführt. Es würde mich interessieren, mehr davon zu erfahren: Zeichnen einiger Metriken (F1-Punktzahl,...
Angenommen, ich habe ein einfaches einschichtiges neuronales Netzwerk mit n Eingängen und einem einzelnen Ausgang (binäre Klassifizierungsaufgabe). Wenn ich die Aktivierungsfunktion im Ausgabeknoten als Sigmoidfunktion einstelle, ist das Ergebnis ein Klassifikator für die logistische...
Ich versuche, ein tiefes neuronales Netzwerk für die Klassifizierung mithilfe der Rückausbreitung zu trainieren. Insbesondere verwende ich ein Faltungs-Neuronales Netzwerk zur Bildklassifizierung unter Verwendung der Tensor Flow-Bibliothek. Während des Trainings habe ich ein seltsames Verhalten und...
Ist es möglich, ein neuronales Netzwerk zu trainieren, um Bilder in einem bestimmten Stil zu zeichnen? (Es nimmt also ein Bild auf und zeichnet es in einem Stil neu, für den es trainiert wurde.) Gibt es eine zugelassene Technologie für so etwas? Ich kenne den DeepArt-Algorithmus. Es ist gut, das...
Ich habe einen Datensatz mit 34 Eingabespalten und 8 Ausgabespalten. Eine Möglichkeit, das Problem zu lösen, besteht darin, die 34 Eingaben zu verwenden und für jede Ausgabespalte ein individuelles Regressionsmodell zu erstellen. Ich frage mich, ob dieses Problem mit nur einem Modell gelöst werden...
Ich bin neu bei Keras und brauche deine Hilfe. Ich trainiere ein neuronales Netz in Keras und meine Verlustfunktion ist die Quadrat-Differenz s / w-Netzleistung und der Zielwert. Ich möchte dies mit Gradient Descent optimieren. Nachdem ich einige Links im Internet durchgesehen habe, habe ich...
Ich habe mich gefragt, wie der Status für LSTMs am besten initialisiert werden kann. Momentan initialisiere ich es einfach auf alle Nullen. Ich kann online nichts darüber finden, wie man es initialisiert. Eine Sache, an die ich gedacht habe, ist, den Ausgangszustand zu einem trainierbaren Parameter...
Gibt es eine Faustregel zwischen der Tiefe eines neuronalen Netzwerks und der Lernrate? Mir ist aufgefallen, dass die Lernrate umso niedriger sein muss, je tiefer das Netzwerk ist. Wenn das richtig ist, warum ist das
Während ich im Physikunterricht tatsächlich einige Programmierungen mit Boltzmann-Maschinen durchgeführt habe, bin ich mit deren theoretischer Charakterisierung nicht vertraut. Im Gegensatz dazu kenne ich eine bescheidene Menge über die Theorie der grafischen Modelle (über die ersten Kapitel von...
In Bezug auf den Unterschied zwischen neuronalen Netzen und Deep Learning können wir verschiedene Elemente auflisten, z. B. mehr Ebenen, umfangreiche Datenmengen und leistungsstarke Computerhardware, um das Training komplizierter Modelle zu ermöglichen. Gibt es außerdem eine detailliertere...
In den Artikeln AlphaGo Zero und AlphaZero von DeepMind beschreiben sie das Hinzufügen von Dirichlet- Rauschen zu den vorherigen Wahrscheinlichkeiten von Aktionen vom Wurzelknoten (Board-Status) in der Monte-Carlo-Baumsuche: Weitere Explorations wird erreicht durch Zugabe von Dirichlet Rauschen zu...
Ich verwende Bidirectional RNN, um ein Ereignis mit unausgeglichenem Auftreten zu erkennen. Die positive Klasse ist 100-mal seltener als die negative Klasse. Obwohl keine Regularisierung verwendet wird, kann ich eine 100% ige Genauigkeit für das Zugset und 30% für das Validierungsset erhalten. Ich...
Ich arbeite an einem Faltungsnetzwerk für die Bilderkennung und habe mich gefragt, ob ich Bilder unterschiedlicher Größe eingeben kann (allerdings nicht sehr unterschiedlich). Zu diesem Projekt: https://github.com/harvardnlp/im2markup Sie sagen: and group images of similar sizes to facilitate...