Als «sgd» getaggte Fragen

Angenommen, wir haben eine Trainingsmenge ( x( i ), y( i ))(x(i),y(i))(x_{(i)}, y_{(i)}) für i = 1 , ... , mi=1,…,mi = 1, \dots, m . Angenommen, wir führen eine Art von überwachtem Lernalgorithmus für den Trainingssatz aus. Hypothesen werden dargestellt als hθ( x( i )) = θ0+ θ1X( i ) 1+ ⋯ + θnX( i...

Ich versuche die Geschichte des Gradientenabstiegs und des stochastischen Gradientenabstiegs zu verstehen . Gradientenabfallsaktualisierung wurde erfunden Cauchy in 1847. Méthode Générale pour la résolution des Systèmes d'GLEICHUNGEN simultanées . S. 536–538 Weitere Informationen finden Sie hier...

Bei einer konvexen Kostenfunktion, bei der SGD für die Optimierung verwendet wird, haben wir zu einem bestimmten Zeitpunkt während des Optimierungsprozesses einen Gradienten (Vektor). Meine Frage ist, angesichts des Punktes auf der Konvexen, zeigt der Gradient nur in die Richtung, in die die...

Aus vielen Diskussionen habe ich ähnliche Schlussfolgerungen gezogen, dass die Konvergenz von SGD mit zunehmender Minibatch-Größe tatsächlich schwieriger / schlechter wird, zum Beispiel in diesem Artikel und in dieser Antwort . Ich habe auch von Leuten gehört, die im frühen Stadium Tricks wie...

Standardgradientenabstieg berechnet den Gradienten für den gesamten Trainingsdatensatz. for i in range(nb_epochs): params_grad = evaluate_gradient(loss_function, data, params) params = params - learning_rate * params_grad Für eine vordefinierte Anzahl von Epochen berechnen wir zunächst den...

Ich bin derzeit ein bisschen verwirrt darüber, wie der Mini-Batch-Gefälle-Abstieg in einem Sattelpunkt gefangen werden kann. Die Lösung könnte zu trivial sein, als dass ich sie nicht verstehe. Sie erhalten in jeder Epoche eine neue Stichprobe und es wird ein neuer Fehler basierend auf einer...

Ich führe Experimente mit dem EMNIST-Validierungssatz unter Verwendung von Netzwerken mit RMSProp, Adam und SGD durch. Ich erreiche eine Genauigkeit von 87% mit SGD (Lernrate von 0,1) und Dropout (0,1 Dropout Prob) sowie L2-Regularisierung (1e-05-Strafe). Wenn ich die gleiche exakte Konfiguration...

Ich bin neu bei Keras und brauche deine Hilfe. Ich trainiere ein neuronales Netz in Keras und meine Verlustfunktion ist die Quadrat-Differenz s / w-Netzleistung und der Zielwert. Ich möchte dies mit Gradient Descent optimieren. Nachdem ich einige Links im Internet durchgesehen habe, habe ich...

Was ist der Unterschied zwischen der automatischen Codierung von Variations-Bayes und der stochastischen Backpropagation für tiefe generative Modelle ? Führt die Schlussfolgerung bei beiden Methoden zu denselben Ergebnissen? Mir sind keine expliziten Vergleiche zwischen den beiden Methoden bekannt,...

Welche Situationen kennen wir, in denen gezeigt werden kann, dass der Gradientenabstieg für nicht konvexe Funktionen konvergiert (entweder zu einem kritischen Punkt oder zu einem lokalen / globalen Minimum)? Für SGD zu nicht konvexen Funktionen wurde hier eine Art von Beweis überprüft:...

Ich versuche, ein großes Modell (tiefes Netz mit Kaffee) mit stochastischem Gradientenabstieg (SGD) zu trainieren. Das Problem ist, dass ich durch meine GPU-Speicherkapazität eingeschränkt bin und daher keine großen Mini-Batches für jede stochastische Gradientenschätzung verarbeiten kann. Wie kann...