Was ist der Zusammenhang zwischen Regularisierung und der Methode der Lagrange-Multiplikatoren?

Um eine Überanpassung von Personen zu verhindern, fügen Menschen der Kostenfunktion der linearen Regression einen Regularisierungsterm (proportional zur quadratischen Summe der Parameter des Modells) mit einem Regularisierungsparameter . Ist dieser Parameter λ der gleiche wie ein Lagrange-Multiplikator? Ist die Regularisierung also dieselbe wie die Methode des Lagrange-Multiplikators? Oder wie hängen diese Methoden zusammen? $\lambda$$\lambda$

Angenommen, wir optimieren ein Modell mit Parametern , indem wir ein Kriterium f ( → θ ) minimieren , das einer Einschränkung der Größe des Parametervektors unterliegt (zum Beispiel um einen Ansatz zur Minimierung des strukturellen Risikos zu implementieren, indem ein verschachtelter Satz von Modellen zur Erhöhung konstruiert wird Komplexität) müssten wir lösen:$\vec{\theta}$$f(\vec{\theta})$

$\mathrm{min}_\vec{\theta} f(\vec{\theta}) \quad \mathrm{s.t.} \quad \|\vec{\theta}\|^2 < C$

Der Lagrange für dieses Problem ist (Vorbehalt: Ich denke, es war ein langer Tag ... ;-)

$\Lambda(\vec{\theta},\lambda) = f(\vec{\theta}) + \lambda\|\vec{\theta}\|^2 - \lambda C.$

$\lambda$$C$

$C_1 > C_2$

$\|\vec{\theta}\|^2 < C_2$

wird auch unter der Einschränkung verfügbar sein

$\|\vec{\theta}\|^2 < C_1$

$\lambda$