Es gibt so viele Regularisierungstechniken, dass es nicht praktisch ist, alle Kombinationen auszuprobieren:
- l1 / l2
- max norm
- aussteigen
- frühes Anhalten
- ...
Es scheint, dass die meisten Menschen mit einer Kombination aus Ausfall und frühem Abbruch zufrieden sind: Gibt es Fälle, in denen die Verwendung anderer Techniken sinnvoll ist?
Wenn Sie beispielsweise ein spärliches Modell möchten, können Sie ein wenig l1-Regularisierung hinzufügen. Gibt es ansonsten starke Argumente für die Einstreuung anderer Regularisierungstechniken?
Ich kenne das No-Free-Lunch-Theorem, theoretisch müsste ich alle Kombinationen von Regularisierungstechniken ausprobieren, aber es lohnt sich nicht, es zu versuchen, wenn es fast nie zu einer signifikanten Leistungssteigerung führt.
quelle