Ich habe in einer Reihe von Referenzen gelesen, dass die Lasso-Schätzung für den Regressionsparametervektor dem posterioren Modus von in dem die vorherige Verteilung für jedes eine doppelte Exponentialverteilung ist (auch als Laplace-Verteilung bekannt).
Ich habe versucht, dies zu beweisen, kann jemand die Details ausarbeiten?
regression
bayesian
lasso
prior
regularization
Wintermute
quelle
quelle
Antworten:
Betrachten wir der Einfachheit halber nur eine einzige Beobachtung einer Variablen so dassY
f ( σ ) ≤ 1 σ > 0μ ∼ Laplace ( λ )
und das falsche vorherige
.f( σ) ∝ 1σ> 0
Dann ist die gemeinsame Dichte von proportional zuY., μ , σ2
Erstellen eines Protokolls und Löschen von Begriffen, bei denen es sich nicht um ,μ
Somit ist das Maximum von (1) eine MAP-Schätzung und in der Tat das Lasso-Problem, nachdem wir reparametrisiert haben .λ~= & Lgr; & sgr;2
Die Erweiterung der Regression ist klar: Ersetzen Sie mit in der normalen Wahrscheinlichkeit, und setzen Sie den vorherigen Wert für auf eine Folge unabhängiger Laplace- Verteilungen .X β β ( λ )μ Xβ β ( λ )
quelle
Dies wird durch die Überprüfung der Menge deutlich, die der LASSO optimiert.
Nehmen Sie den Prior für als unabhängiges Laplace mit mittlerer Null und einer gewissen Skalierung . τβich τ
Also .p ( β| τ) ∝ e- 12 τ∑ich| βich|
Das Modell für die Daten ist die übliche Regressionsannahme .y∼iidN( Xβ, σ2)
Jetzt ist minus das Doppelte des Logbuchs des Seitenzahns von der Form
1k ( σ2, τ, n , p ) + 1σ2( y - X β )T( Y - X β ) + 1τ∑ich| βich|
Lassen Sie und wir erhalten -posterior von- 2 logλ = σ2/ τ - 2 log
1k ( σ2,λ,n,p)+ 1σ2[(y−Xβ)T(y−Xβ)+λ∑i|βi|]
Der MAP-Schätzer für minimiert das oben Gesagte, wodurch es minimiert wirdβ
Der MAP-Schätzer für ist also LASSO.β
(Hier habe ich als effektiv behoben behandelt, aber Sie können andere Dinge damit tun und trotzdem LASSO herausbringen.)σ2
Bearbeiten: Das ist, was ich zum Verfassen einer Antwort offline erhalten; Ich habe keine gute Antwort gesehen, die bereits von Andrew gepostet wurde. Meins tut wirklich nichts, was er nicht schon tut. Ich lasse meins vorerst, da es ein paar Details zur Entwicklung in Bezug auf .β
quelle