Auswahl der Regularisierungsmethode in neuronalen Netzen

Beim Training neuronaler Netze gibt es mindestens vier Möglichkeiten, das Netz zu regulieren:

Es gibt keine starken, gut dokumentierten Prinzipien, die Ihnen bei der Entscheidung zwischen Regularisierungstypen in neuronalen Netzen helfen. Sie können sogar Regularisierungstechniken kombinieren, Sie müssen nicht nur eine auswählen.

Ein praktikabler Ansatz kann auf Erfahrungen basieren und anhand der Literatur und der Ergebnisse anderer Personen ermittelt werden, was in verschiedenen Problembereichen zu guten Ergebnissen geführt hat. Vor diesem Hintergrund hat sich Dropout bei einer Vielzahl von Problemen als sehr erfolgreich erwiesen, und Sie können es wahrscheinlich als gute erste Wahl betrachten, fast unabhängig davon, was Sie versuchen.

Manchmal kann es auch hilfreich sein, nur eine Option auszuwählen, mit der Sie vertraut sind. Wenn Sie mit Techniken arbeiten, die Sie verstehen und mit denen Sie Erfahrung haben, erzielen Sie möglicherweise bessere Ergebnisse, als wenn Sie eine ganze Reihe verschiedener Optionen ausprobieren, bei denen Sie sich nicht sicher sind, welche Größenordnung Sie für einen Parameter versuchen sollen . Ein Hauptproblem besteht darin, dass die Techniken mit anderen Netzwerkparametern zusammenspielen können. Beispielsweise möchten Sie möglicherweise die Größe von Ebenen mit Ausfall je nach Ausfallprozentsatz erhöhen.

Schließlich spielt es möglicherweise keine große Rolle, welche Regularisierungstechniken Sie verwenden, nur dass Sie Ihr Problem und Modell gut genug verstehen, um zu erkennen, wann es überpasst, und eine stärkere Regularisierung vertragen könnten. Oder umgekehrt, erkennen Sie, wann es unteranpasst und dass Sie die Regularisierung reduzieren sollten.

Methode der Regularisierung

Für die folgenden 4 Techniken sind L1-Regularisierung und L2-Regularisierung natürlich eine Regularisierungsmethode. Sie schrumpfen das Gewicht. L1 würde sich darauf konzentrieren, eine kleinere Gewichtsmenge zu schrumpfen, wenn die Gewichte eine höhere Bedeutung haben.

Ein Ausfall verhindert eine Überanpassung, indem Neuronen vorübergehend ausfallen. Schließlich werden alle Gewichte als Durchschnitt berechnet, damit das Gewicht für ein bestimmtes Neuron nicht zu groß wird, und daher handelt es sich um eine Methode zur Regularisierung.

Die Chargennormalisierung sollte keine Methode zur Regularisierung sein, da der Hauptzweck darin besteht, das Training zu beschleunigen, indem eine Charge ausgewählt und das Gewicht nahe 0 verteilt wird, nicht zu groß, nicht zu klein.

Wählen Sie es

Für mich ist Mini-Batch ein Muss, da es den Prozess beschleunigen und die Leistung des Netzwerks jedes Mal verbessern kann.

L1 und L2 sind beide ähnlich und ich würde L1 in kleinen Netzwerken bevorzugen.

Im Idealfall sollte ein Ausfall auftreten, wenn ein großes Variationsproblem oder eine Überanpassung vorliegt.

Last but not least stimme ich Neil Slater zu, dass es von der Situation abhängt und es niemals eine optimale Lösung geben wird.

Ich empfehle Ihnen, dies für weitere Informationen zu lesen. Dies ist ein sehr gutes Material. http://neuralnetworksanddeeplearning.com/chap3.html

Betrachten Sie diese algorithmischen Optionen als zusätzliche Hyperparameter und optimieren Sie sie auf die gleiche Weise wie für Ihre anderen Hyperparameter. In der Regel sind hierfür jedoch mehr Daten erforderlich.