Bei der Spline-Regression ist es nicht ungewöhnlich, dass die Basiserweiterung eine rangdefiziente Entwurfsmatrix erstellt Es ist jedoch bekannt, dass die Bestrafung des Schätzverfahrens das Problem löst. Ich weiß nicht, wie ich zeigen soll, dass Bestrafung das bedeutetist definitiv positiv. (Ich weiß, dass PD-Matrizen invertierbar sind.)
Um die Bühne zu bereiten, suchen wir für das durch die Basiserweiterung gegebene f (x) f (x_i) = \ sum_j \ alpha_j h_j (x_i) . Wenn ich die Basisvektoren in B sammle , kann ich ziemlich leicht zeigen, dass sich diese Optimierung auf reduziert
wobei .
Hier ist meine bisherige Argumentation. Wir wissen, dass Rangmangel aufweist, weil . Dies impliziert, dass ebenfalls einen Rangmangel aufweist; Ich kann auch zeigen, dass mindestens ein Eigenwert 0 ist und dass er positiv semidefinit ist.
Aber jetzt stecke ich fest, weil ich nicht weiß, wie ich über oder zeigen soll, dass für jedes \ lambda> 0 PD ist . Ich weiß, dass eine Gramm-Matrix ist, aber das bringt uns nur so weit zu zeigen, dass PSD ist.
quelle
Antworten:
Das Zeigen, dass PD ist, bedeutet zu zeigen, dass PD ist. (Vielen Dank an Matthew Gunn für den Hinweis in den Kommentaren.)BTB+λΩ Ω
Dies liegt daran, dass für den Fall, dass , einen Rangmangel aufweist und daher PSD. Dies liegt daran, dass die quadratische Form weil wir sie als umschreiben können, weil das Quadrat von jeder reellen Zahl ist nicht negativ. Wir haben also denn wenn PD ist, dann ist die Menge ist die Summe einer nichtnegativen und einer positiven Zahl, die positiv sein muss. Daher ist PD, solange PD ist.BTB p>n aTBTBa≥0∀a∈{Rn∖0} ||Ba||22≥0 aT(BTB+Ω)a=aTBTBa+aTΩa>0 Ω aTΩa>0 aTBTBa+aTΩa BTB+Ω Ω
Also müssen wir über . Es passt zur Definition einer Gram-Matrix, da es durch das Standard-Innenprodukt für Funktionen gegeben ist (das in der Frage festgelegt ist). Die Basisfunktionen sind linear unabhängig (weil sie eine Basis bilden), daher ist PD.Ω Ω
Es ist leicht zu zeigen, dass dies für jedes ; Es gelten dieselben Argumente, da positive Zahlen unter Multiplikation geschlossen werden.λ>0
quelle