Gradient Descent ist ein Algorithmus zum Ermitteln des Minimums einer Funktion. Es berechnet iterativ partielle Ableitungen (Gradienten) der Funktion und steigt in Schritten ab, die proportional zu diesen partiellen Ableitungen sind. Eine Hauptanwendung von Gradient Descent ist das Anpassen eines parametrisierten Modells an einen Datensatz: Die zu minimierende Funktion ist eine Fehlerfunktion für das Modell.
Eine Möglichkeit, eine logistische Regression zu trainieren, besteht in der Verwendung einer stochastischen Gradientenabnahme, zu der scikit-learn eine Schnittstelle bietet. Was ich möchte , ist zu tun , nehmen Sie einen Scikit-Learn des SGDClassifier und haben sie das gleiche wie eine logistische...
Was ist der Unterschied zwischen Gradient Descent und Stochastic Gradient Descent? Ich bin mit diesen nicht sehr vertraut. Können Sie den Unterschied mit einem kurzen Beispiel
Ich frage mich, ob es ein Szenario gibt, in dem der Gefälle nicht auf ein Minimum konvergiert. Mir ist bewusst, dass der Gradientenabstieg nicht immer garantiert zu einem globalen Optimum konvergiert. Mir ist auch bewusst, dass es von einem Optimum abweichen kann, wenn beispielsweise die...
Hier bezieht sich die Antwort auf das Verschwinden und Explodieren von Verläufen, die sigmoidähnliche Aktivierungsfunktionen hatten, aber Relueinen Nachteil haben und deren erwarteter Wert sind. Es gibt keine Begrenzung für die Ausgabe von Reluund daher ist der erwartete Wert nicht Null. Ich...
Wird mein LSTM überarbeitet, wenn ich es mit dem Schiebefenster trainiere? Warum scheinen die Leute es nicht für LSTMs zu verwenden? Für ein vereinfachtes Beispiel nehmen wir an, dass wir die Zeichenfolge vorhersagen müssen: A B C D E F G H I J K L M N O P Q R S T U V W X Y Z Ist es schlecht (oder...
Ich möchte wissen, ob Gradient Descent der Hauptalgorithmus ist, der in Optimierern wie Adam, Adagrad, RMSProp und mehreren anderen Optimierern verwendet wird.
Gibt es Faustregeln (oder tatsächliche Regeln) für die minimale, maximale und "angemessene" Anzahl von LSTM-Zellen, die ich verwenden sollte? Insbesondere beziehe ich mich auf BasicLSTMCell von TensorFlow und num_unitsEigenschaft. Bitte nehmen Sie an, dass ich ein Klassifizierungsproblem habe, das...
Nehmen wir an, ich möchte einen stochastischen Regressionsalgorithmus für den Gradientenabstieg unter Verwendung eines Datensatzes mit N Stichproben trainieren. Da die Größe des Datensatzes festgelegt ist, werde ich die Daten T-mal wiederverwenden. Bei jeder Iteration oder "Epoche" verwende ich...
In vielen neuronalen Netzwerkpaketen scheint es Standard zu sein, die zu minimierende Zielfunktion mit der Aktivierungsfunktion in der Ausgabeschicht zu koppeln. Zum Beispiel ist es für eine lineare Ausgabeschicht, die für die Regression verwendet wird, Standard (und oft nur die Wahl), eine...
Ich habe jetzt ein Buch mit dem Titel "Praktisches maschinelles Lernen mit Scikit-Learn und TensorFlow" gelesen und in Kapitel 11 die folgende Beschreibung zur Erklärung von ELU (Exponential ReLU). Drittens ist die Funktion überall flüssig, auch um z = 0, was den Gradientenabstieg beschleunigt, da...
Ich schaue mir an, wie man Dropout in einem tiefen neuronalen Netzwerk implementiert, und fand etwas, das nicht intuitiv ist. In der Vorwärtsphase fallen Dropout-Maskenaktivierungen mit einem zufälligen Tensor von 1s und 0s an, um das Netz zu zwingen, den Durchschnitt der Gewichte zu lernen. Dies...
Ich benutze Tensorflow, um einfache neuronale Netze für ein bisschen Forschung zu schreiben, und ich hatte während des Trainings viele Probleme mit 'Nan'-Gewichten. Ich habe viele verschiedene Lösungen ausprobiert, wie das Ändern des Optimierers, das Ändern des Verlusts, der Datengröße usw., aber...
Während eines Online-Kurses über maschinelles Lernen von Andrew Ng auf coursera stieß ich auf ein Thema namens Überanpassung . Ich weiß, dass es auftreten kann, wenn ein Gradientenabstieg in einer linearen oder logistischen Regression verwendet wird, aber kann es auftreten, wenn erweiterte...
Ich habe einige Modelle für ein Projekt erstellt, aber ich kann mich nicht mit der Mathematik der Adagrad- und Adadelta-Algorithmen befassen. Ich verstehe, wie Vanille-Gradienten-Abstieg funktioniert, und ich habe Code geschrieben, damit er erfolgreich funktioniert. Ich wäre dankbar, wenn mir...
Es sieht für mich so aus, als ob die undichte ReLU eine viel bessere Leistung haben sollte, da die Standard-ReLU nicht die Hälfte ihres Speicherplatzes nutzen kann (x <0, wenn der Gradient Null ist). Dies ist jedoch nicht der Fall und in der Praxis verwenden die meisten Benutzer...
Ich versuche, einen grundlegenden stochastischen Gradientenabstiegsalgorithmus für eine lineare 2D-Regression in Python zu implementieren. Ich habe einen Boilerplate-Code für Vanilla GD erhalten und versucht, ihn für SGD zu konvertieren. Insbesondere - ich bin mir ein wenig unsicher, ob ich die...