Negative Gratregression verstehen

12

Ich suche Literatur über negative Gratregression .

Kurz gesagt, es ist eine Verallgemeinerung der linearen Regression unter Verwendung ridge negative λ in der Schätzer

β^=(XX+λI)1Xy.
Der positive Fall hat eine schöne Theorie: als Verlustfunktion, als Einschränkung, als Bayes-Prior ... aber ich fühle mich mit der negativen Version mit nur der obigen Formel verloren. Es ist nützlich für das, was ich tue, aber ich kann es nicht klar interpretieren.

Kennen Sie einen ernsthaften Einführungstext zum negativen Grat? Wie kann es interpretiert werden?

Benoit Sanchez
quelle
1
Ich kenne keinen Einführungstext, der darüber spricht, aber diese Quelle mag aufschlussreich sein, insbesondere die Diskussion am Ende von Seite 18: jstor.org/stable/4616538?seq=1#page_scan_tab_contents
Ryan Simmons
1
Für den Fall, dass diese Verbindung in Zukunft stirbt, lautet das vollständige Zitat: Björkström, A. & Sundberg, R. "Eine verallgemeinerte Sicht auf die Kontinuumsregression". Scandinavian Journal of Statistics, 26: 1 (1999): S. 17-30
Ryan Simmons
2
Danke vielmals. Dies ergibt eine klare Interpretation des Kamms über CR, wenn (größter Eigenwert der Kovarianzmatrix). Immer noch auf der Suche nach einer Interpretation mit λ > - λ 1 ...λ<λ1λ>λ1
Benoit Sanchez
Beachten Sie in dieser Entwicklung der Gratregression aus der Tikhonov-Regularisierung, dass die Tikhonov-Regularisierung für die Gratregression zu α 2 I wird . Anschließend wird α 2 üblicherweise durch λ ersetzt . Die einzige Möglichkeit, dieses Negativ zu erzeugen, besteht darin, dass α imaginär ist, dh ein Vielfaches von i = ΓTΓα2Iα2λα . OK, was nun? Wohin willst du damit gehen? i=1
Carl
Negativer Grat hier erwähnt: stats.stackexchange.com/questions/328630/… mit einigen Links
kjetil b halvorsen

Antworten:

12

Hier ist eine geometrische Darstellung dessen, was mit dem negativen Grat vor sich geht.

Ich werde Schätzer der Form betrachten β λ = ( XX + λ I ) - 1 Xy aus der Verlustfunktion auftretenden L λ = y - X β 2 + λ β 2 . Hier ist eine ziemlich standardmäßige Darstellung dessen, was in einem zweidimensionalen Fall mit λ [ 0 , ) passiert.

β^λ=(X.X.+λich)- -1X.y
L.λ=y- -X.β2+λβ2.
λ[0,). Null Lambda entspricht der OLS-Lösung, unendliches Lambda verkleinert das geschätzte Beta auf Null:

Geben Sie hier die Bildbeschreibung ein

λ(- -,- -smax2)smeinxX.β^λ- -smax2(XX+λI)Xβ^λ

Was wirklich schön ist, ist, dass man es auf die gleiche Weise auf dieselbe Figur zeichnen kann: Betas werden durch Punkte gegeben, an denen Kreise die Ellipsen von innen berühren :

Geben Sie hier die Bildbeschreibung ein

λ(smin2,0]

Geben Sie hier die Bildbeschreibung ein

(smax2,smin2)

λ<smax2Lλβ^λsmin2<λ0Lλβ^λλ>0

smax2<λ<smin2Lλβ^λ


λ(,smax2)λ

λ(smin2,0]λ>0

Amöbe sagt Reinstate Monica
quelle
1
λ<smax2smax2<λ<0
1
βT(XTX+λI)β.
λ<smax2smax2<λ<0
1
Das ist sehr hilfreich, vielen Dank. Ich habe meine Antwort aktualisiert.
Amöbe sagt Reinstate Monica
1
smax2<λ<smin2λ>smin2XTX+λI