Regularisierte Anpassung aus zusammengefassten Daten: Auswahl des Parameters

In Anlehnung an meine frühere Frage lautet die Lösung der normalen Gleichungen für die Gratregression wie folgt:

Könnten Sie die Regularisierungsparameter jede Führung bieten für die Wahl . Da zusätzlich die Diagonale von mit der Anzahl der Beobachtungen wachsen , sollte auch eine Funktion sein ?$\lambda$$X^TX$$m$$\lambda$$m$

Meine Antwort basiert auf einer schönen Überprüfung des Problems durch Anders Bjorkstorm Ridge Regression und inverse Probleme (ich würde empfehlen, den gesamten Artikel zu lesen).

Teil 4 dieser Übersicht befasst sich mit der Auswahl eines Parameters in der Gratregression, wobei verschiedene Schlüsselansätze vorgestellt werden:$\lambda$

1. Ridge Trace entspricht einer grafischen Analyse von gegen . Ein typischer Plot zeigt ein instabiles Verhalten (für ein wirklich schlecht veröffentlichtes Problem müssen Sie auf jeden Fall sicher sein, dass Sie diese Regularisierung benötigen) des Verhaltens verschiedener -Schätzungen für Nähe von Null und ab einem bestimmten Punkt nahezu konstant (ungefähr müssen wir für alle Parameter einen Schnittbereich mit konstantem Verhalten ermitteln). Die Entscheidung, wo dieses fast konstante Verhalten beginnt, ist jedoch etwas subjektiv. Eine gute Nachricht für diesen Ansatz ist, dass und nicht beachtet werden müssen .$\hat{\beta}_{i,\lambda}$$\lambda$$\hat{\beta}_{i,\lambda}$$\lambda$$X$$y$
2. $L$ Kurve zeigt die euklidische Norm des Vektors der geschätzten Parametergegen die Restnorm. Die Form liegt normalerweise in der Nähe des Buchstabens daher gibt es eine Ecke, die bestimmt, wo der optimale Parameter hingehört (man kann den Punkt in der Kurve wählen, an dem diese die maximale Krümmung erreicht , aber es ist besser, nach Hansens Artikel zu suchen , um mehr zu erhalten Einzelheiten).$|\hat{{\beta}}_\lambda|$$|y - X\hat{\beta}_\lambda|$$L$$L$
3. Für die Kreuzvalidierung wird häufig ein einfacher " Auslassungsansatz " gewählt, bei dem nach gesucht wird , das einige Prognosegenauigkeitskriterien maximiert (oder minimiert) (Sie haben eine breite Palette davon, RMSE und MAPE sind die beiden zu Beginn) mit). Schwierigkeiten mit 2. und 3. sind, dass Sie und beobachten müssen, um sie in die Praxis umzusetzen.$\lambda$$X$$y$