Warum ist

7

Bei der Spline-Regression ist es nicht ungewöhnlich, dass die Basiserweiterung eine rangdefiziente Entwurfsmatrix erstellt Bn×pEs ist jedoch bekannt, dass die Bestrafung des Schätzverfahrens das Problem löst. Ich weiß nicht, wie ich zeigen soll, dass Bestrafung das bedeutetBTB+λΩist definitiv positiv. (Ich weiß, dass PD-Matrizen invertierbar sind.)

Um die Bühne zu bereiten, suchen wir minαRpi||yif(xi)||2+λab[f(t)]2dtfür das durch die Basiserweiterung gegebene f (x) f (x_i) = \ sum_j \ alpha_j h_j (x_i) . Wenn ich die Basisvektoren in B sammle , kann ich ziemlich leicht zeigen, dass sich diese Optimierung auf reduziertf(x)f(xi)=jαjhj(xi)B

α^=(BTB+λΩ)1BTy.

wobei Ωij=abhj(t)hi(t)dt .

Hier ist meine bisherige Argumentation. Wir wissen, dass B Rangmangel aufweist, weil p>n . Dies impliziert, dass BTB ebenfalls einen Rangmangel aufweist; Ich kann auch zeigen, dass mindestens ein Eigenwert 0 ist und dass er positiv semidefinit ist.

Aber jetzt stecke ich fest, weil ich nicht weiß, wie ich über Ω oder zeigen soll, dass BTB+λΩ für jedes \ lambda> 0 PD ist λ>0. Ich weiß, dass Ω eine Gramm-Matrix ist, aber das bringt uns nur so weit zu zeigen, dass Ω PSD ist.

Sycorax sagt Reinstate Monica
quelle
2
Sie müssten zeigen, dass definitiv positiv ist. Woher kommt genau? Wie ist es definiert? Ωh
Matthew Gunn
Ich war neugierig, ob immer PD ist? Was ist, wenn ich bei jedem bestimmten x-Wert Knoten setze? Ω
Vtshen
@vtshen Meine Antwort zeigt, dass in zweierlei Hinsicht PD ist. Wenn Sie weitere Fragen haben, können Sie oben auf der Seite auf Frage stellen klicken, um eine neue Frage zu stellen. Ω
Sycorax sagt Reinstate Monica
@ Sycorax danke für die Antwort. Ich fragte eine andere Frage, aber wurde als Duplikat markiert
vtshen

Antworten:

6

Das Zeigen, dass PD ist, bedeutet zu zeigen, dass PD ist. (Vielen Dank an Matthew Gunn für den Hinweis in den Kommentaren.)BTB+λΩΩ

Dies liegt daran, dass für den Fall, dass , einen Rangmangel aufweist und daher PSD. Dies liegt daran, dass die quadratische Form weil wir sie als umschreiben können, weil das Quadrat von jeder reellen Zahl ist nicht negativ. Wir haben also denn wenn PD ist, dann ist die Menge ist die Summe einer nichtnegativen und einer positiven Zahl, die positiv sein muss. Daher ist PD, solange PD ist.BTBp>naTBTBa0a{Rn0}||Ba||220aT(BTB+Ω)a=aTBTBa+aTΩa>0ΩaTΩa>0aTBTBa+aTΩaBTB+ΩΩ

Also müssen wir über . Es passt zur Definition einer Gram-Matrix, da es durch das Standard-Innenprodukt für Funktionen gegeben ist (das in der Frage festgelegt ist). Die Basisfunktionen sind linear unabhängig (weil sie eine Basis bilden), daher ist PD.ΩΩ

Ω ist PD, wenn seine Spalten unabhängig sind. Wir können schreibenWenn die Vektoren von linear abhängig sind , dann haben wir für einige weil per Definition der linearen Abhängigkeit und durch die Eigenschaften der Determinante.Ω=ATA.AΩa=ATAa=AT0=0a0Aa=0|Ω|=|ATA|=|A|2=0

Es ist leicht zu zeigen, dass dies für jedes ; Es gelten dieselben Argumente, da positive Zahlen unter Multiplikation geschlossen werden.λ>0

Sycorax sagt Reinstate Monica
quelle
+1. Ich denke, Sie können Ihre eigene Antwort akzeptieren ... Wie Sie sagten, da immerhin eine Gram-Matrix ist, so dass diese Art es regelt, kann ich keinen weiteren Aspekt sehen! Ω
usεr11852