Es ist allgemein bekannt, dass eine lineare Regression mit einer 1 Strafe gleichbedeutend ist mit dem Finden der MAP-Schätzung, wenn ein Gaußscher Wert vor den Koeffizienten angegeben wird. In ähnlicher Weise ist die Verwendung einer Strafe gleichbedeutend mit der Verwendung einer Laplace-Verteilung wie zuvor.l 1
Es ist nicht ungewöhnlich, eine gewichtete Kombination von und Regularisierungen zu verwenden. Können wir sagen, dass dies einer gewissen vorherigen Verteilung über die Koeffizienten entspricht (intuitiv scheint es so zu sein)? Können wir dieser Verteilung eine schöne analytische Form geben (vielleicht eine Mischung aus Gauß und Laplace)? Wenn nein, warum nicht?l 2
regression
bayesian
regularization
prior
elastic-net
Michael Curry
quelle
quelle
Antworten:
Bens Kommentar ist wahrscheinlich ausreichend, aber ich gebe noch einige Referenzen an, von denen eine aus der Zeit vor der Veröffentlichung stammt, auf die Ben verwiesen hat.
Eine Bayes'sche elastische Netzdarstellung wurde von Kyung et. al. in ihrem Abschnitt 3.1. Obwohl der Prior für den Regressionskoeffizienten korrekt war, haben die Autoren die Mischungsdarstellung falsch aufgeschrieben.β
Ein korrigiertes Bayes'sches Modell für das elastische Netz wurde kürzlich von Roy und Chakraborty vorgeschlagen (ihre Gleichung 6). Die Autoren präsentieren auch einen geeigneten Gibbs-Sampler, der aus der posterioren Verteilung entnommen werden kann, und zeigen, dass der Gibbs-Sampler mit einer geometrischen Geschwindigkeit zur stationären Verteilung konvergiert. Aus diesem Grund könnten sich diese Referenzen zusätzlich zum Hans-Papier als nützlich erweisen .
quelle