Während eines Online-Kurses über maschinelles Lernen von Andrew Ng auf coursera stieß ich auf ein Thema namens Überanpassung . Ich weiß, dass es auftreten kann, wenn ein Gradientenabstieg in einer linearen oder logistischen Regression verwendet wird, aber kann es auftreten, wenn erweiterte Optimierungsalgorithmen wie "Gradient konjugieren", "BFGS" und "L-BFGS" verwendet werden?
Es gibt keine Technik, die das Risiko einer Überanpassung vollständig beseitigt. Bei den von Ihnen aufgelisteten Methoden handelt es sich lediglich um verschiedene Methoden zum Anpassen eines linearen Modells. Ein lineares Modell hat ein globales Minimum, und dieses Minimum sollte sich nicht ändern, unabhängig von der Art des Gradientenabfalls, den Sie verwenden (es sei denn, Sie verwenden die Regularisierung), sodass alle von Ihnen aufgelisteten Methoden überpassen würden (oder underfit) gleichermaßen.
Wenn Sie von linearen Modellen zu komplexeren Modellen wie Deep Learning wechseln, besteht noch ein höheres Risiko für eine Überanpassung. Ich hatte viele verschlungene neuronale Netze, die schlecht überpassen, obwohl die Faltung die Wahrscheinlichkeit einer Überanpassung durch das Teilen von Gewichten erheblich verringern soll. Zusammenfassend lässt sich sagen, dass es unabhängig von der Modellfamilie oder der Optimierungstechnik kein Patentrezept für eine Überanpassung gibt.
Eine Überanpassung ist im Allgemeinen ein Ergebnis der Daten und der Struktur Ihres Modells. Die von Ihnen erwähnten "erweiterten" Algorithmen haben bestimmte Verwendungszwecke, die je nach Ihren Zielen und Ihren Daten andere Methoden ausführen können oder nicht. Hier ist eine Quelle für weitere Informationen: http://papers.nips.cc/paper/1895-overfitting-in-neural-nets-backpropagation-conjugate-gradient-and-early-stopping.pdf