Ist die Bayesian Ridge Regression ein anderer Name der Bayesian Linear Regression?

Ich habe im Internet nach Bayesian Ridge Regression gesucht, aber das meiste Ergebnis, das ich erzielt habe, ist Bayesian Linear Regression. Ich frage mich, ob es beide die gleichen Dinge sind, weil die Formel ziemlich ähnlich aussieht

Die Ridge-Regression verwendet die Regularisierung mit der $L_2$ -Norm, während die Bayes'sche Regression ein Regressionsmodell ist, das probabilistisch definiert ist und explizite Prioritäten für die Parameter aufweist. Die Wahl der Prioritäten kann regulierend wirken, z. B. entspricht die Verwendung von Laplace-Prioritäten für Koeffizienten der $L_1$ -Regulierung . Sie sind nicht gleich, da die Gratregression eine Art Regressionsmodell ist und der Bayes'sche Ansatz eine allgemeine Methode zur Definition und Schätzung statistischer Modelle ist, die auf verschiedene Modelle angewendet werden können.

Das Ridge-Regressionsmodell ist definiert als

$$\underset{\beta}{\operatorname{arg\,min}}\; \|y - X\beta\|^2_2 + \lambda \|\beta\|^2_2$$

In der Bayes'schen Umgebung schätzen wir die posteriore Verteilung unter Verwendung des Bayes-Theorems

$$p(\theta|X) \propto p(X|\theta)\,p(\theta)$$

Ridge-Regression bedeutet, für die Parameter Normal Likelihood und Normal Prior anzunehmen. Nach dem Fallenlassen der Normalisierungskonstante ist die logarithmische Dichtefunktion der Normalverteilung

$$\begin{align} \log p(x|\mu,\sigma) &= \log\Big[\frac{1}{\sigma \sqrt{2\pi} } e^{-\frac{1}{2}\left(\frac{x-\mu}{\sigma}\right)^2}\Big] \\ &= \log\Big[\frac{1}{\sigma \sqrt{2\pi} }\Big] + \log\Big[e^{-\frac{1}{2}\left(\frac{x-\mu}{\sigma}\right)^2}\Big] \\ &\propto -\frac{1}{2}\left(\frac{x-\mu}{\sigma}\right)^2 \\ &\propto -\frac{1}{\sigma^2} \|x - \mu\|^2_2 \end{align}$$

Jetzt können Sie sehen, dass die Maximierung der normalen Log-Wahrscheinlichkeit mit normalen Priors gleichbedeutend mit der Minimierung des quadratischen Verlusts mit Ridge-Strafe ist

$$\begin{align} \underset{\beta}{\operatorname{arg\,max}}& \; \log\mathcal{N}(y|X\beta, \sigma) + \log\mathcal{N}(0, \tau) \\ = \underset{\beta}{\operatorname{arg\,min}}&\; -\Big\{\log\mathcal{N}(y|X\beta, \sigma) + \log\mathcal{N}(0, \tau)\Big\} \\ = \underset{\beta}{\operatorname{arg\,min}}&\; \frac{1}{\sigma^2}\|y - X\beta\|^2_2 + \frac{1}{\tau^2} \|\beta\|^2_2 \end{align}$$

Weitere Informationen zur Ridge-Regression und -Regularisierung finden Sie in den Threads: Warum wird die Ridge-Schätzung durch Hinzufügen einer Konstanten zur Diagonale besser als OLS? , und Welches Problem lösen Schrumpfungsmethoden? und wann sollte ich lasso vs ridge verwenden? und Warum wird die Gratregression "Grat" genannt, warum wird sie benötigt und was passiert, wenn ins Unendliche geht? $\lambda$und viele andere, die wir haben .