LASSO und Grat aus der Bayes'schen Perspektive: Was ist mit den Stimmparametern?

Bestrafte Regressionsschätzer wie LASSO und Ridge sollen Bayes'schen Schätzern mit bestimmten Prioritäten entsprechen.

Ja, das ist richtig. Wenn wir ein Optimierungsproblem haben, das die Maximierung der Log-Likelihood-Funktion plus eine Straffunktion für die Parameter beinhaltet, ist dies mathematisch äquivalent zur posterioren Maximierung, wobei die Straffunktion als Logarithmus eines früheren Kernels angenommen wird. Um dies zu sehen, nehmen wir an, wir haben eine Straffunktion , die einen Abstimmparameter . Die Zielfunktion in diesen Fällen kann wie folgt geschrieben werden: $^\dagger$ $w$ $\lambda$

\begin{aligned} H_{x} (θ | λ) & = ℓ_{x} (θ) - w (θ | λ) \\ = \ln (L_{x} (θ) \cdot \exp (- w (θ | λ))) \\ = \ln (\frac{L_{x} (θ) π (θ | λ)}{\int L_{x} (θ) π (θ | λ) d θ}) + const \\ = \ln π (θ | x, λ) + const, \end{aligned}

$\begin{equation} \begin{aligned} H_\mathbf{x}(\theta|\lambda) &= \ell_\mathbf{x}(\theta) - w(\theta|\lambda) \\[6pt] &= \ln \Big( L_\mathbf{x}(\theta) \cdot \exp ( -w(\theta|\lambda)) \Big) \\[6pt] &= \ln \Bigg( \frac{L_\mathbf{x}(\theta) \pi (\theta|\lambda)}{\int L_\mathbf{x}(\theta) \pi (\theta|\lambda) d\theta} \Bigg) + \text{const} \\[6pt] &= \ln \pi(\theta|\mathbf{x}, \lambda) + \text{const}, \\[6pt] \end{aligned} \end{equation}$

wobei wir das vorherige $\pi(\theta|\lambda) \propto \exp ( -w(\theta|\lambda))$ . Beachten Sie hierbei, dass der Optimierungsparameter in der vorherigen Verteilung als fester Hyperparameter behandelt wird. Wenn Sie eine klassische Optimierung mit einem festen Optimierungsparameter durchführen, entspricht dies einer Bayes-Optimierung mit einem festen Hyperparameter. Für die LASSO- und Ridge-Regression sind die Straffunktionen und die entsprechenden Prioritätsäquivalente:

\begin{aligned} LASSO Regression & π (θ | λ) & = \prod_{k = 1}^{m} Laplace (0, \frac{1}{λ}) = \prod_{k = 1}^{m} \frac{λ}{2} \cdot \exp (- λ | θ_{k} |), \\ Ridge Regression & π (θ | λ) & = \prod_{k = 1}^{m} Normal (0, \frac{1}{2 λ}) = \prod_{k = 1}^{m} \sqrt{λ / π} \cdot \exp (- λ θ_{k}^{2}) . \end{aligned}

$\begin{equation} \begin{aligned} \text{LASSO Regression} & & \pi(\theta|\lambda) &= \prod_{k=1}^m \text{Laplace} \Big( 0, \frac{1}{\lambda} \Big) = \prod_{k=1}^m \frac{\lambda}{2} \cdot \exp ( -\lambda |\theta_k| ), \\[6pt] \text{Ridge Regression} & & \pi(\theta|\lambda) &= \prod_{k=1}^m \text{Normal} \Big( 0, \frac{1}{2\lambda} \Big) = \prod_{k=1}^m \sqrt{\lambda/\pi} \cdot \exp ( -\lambda \theta_k^2 ). \\[6pt] \end{aligned} \end{equation}$

Das erstere Verfahren bestraft die Regressionskoeffizienten gemäß ihrer absoluten Größe, was dem Auferlegen eines Laplace-Priorums bei Null entspricht. Die letztere Methode bestraft die Regressionskoeffizienten gemäß ihrer quadratischen Größe, was dem Auferlegen eines normalen Prioritätswerts bei Null entspricht.

Nun würde ein Frequentist den Abstimmungsparameter durch Kreuzvalidierung optimieren. Gibt es ein bayesianisches Äquivalent dazu und wird es überhaupt verwendet?

Solange die frequentistische Methode als Optimierungsproblem gestellt werden kann (anstatt etwa einen Hypothesentest oder ähnliches zu beinhalten), wird es eine Bayes'sche Analogie geben, die ein äquivalentes Prior verwendet. Ebenso wie die Frequentisten den Abstimmungsparameter $\lambda$ als unbekannt behandeln und dies aus den Daten abschätzen, kann der Bayes'sche den Hyperparameter $\lambda$ ähnliche Weise als unbekannt behandeln. In einer vollständigen Bayes'schen Analyse würde dies bedeuten, dem Hyperparameter eine eigene Priorität zuzuweisen und das hintere Maximum unter dieser Priorität zu finden, was der Maximierung der folgenden Zielfunktion analog wäre:

\begin{aligned} H_{x} (θ, λ) & = ℓ_{x} (θ) - w (θ | λ) - h (λ) \\ = \ln (L_{x} (θ) \cdot \exp (- w (θ | λ)) \cdot \exp (- h (λ))) \\ = \ln (\frac{L_{x} (θ) π (θ | λ) π (λ)}{\int L_{x} (θ) π (θ | λ) π (λ) d θ}) + const \\ = \ln π (θ, λ | x) + const . \end{aligned}

$\begin{equation} \begin{aligned} H_\mathbf{x}(\theta, \lambda) &= \ell_\mathbf{x}(\theta) - w(\theta|\lambda) - h(\lambda) \\[6pt] &= \ln \Big( L_\mathbf{x}(\theta) \cdot \exp ( -w(\theta|\lambda)) \cdot \exp ( -h(\lambda)) \Big) \\[6pt] &= \ln \Bigg( \frac{L_\mathbf{x}(\theta) \pi (\theta|\lambda) \pi (\lambda)}{\int L_\mathbf{x}(\theta) \pi (\theta|\lambda) \pi (\lambda) d\theta} \Bigg) + \text{const} \\[6pt] &= \ln \pi(\theta, \lambda|\mathbf{x}) + \text{const}. \\[6pt] \end{aligned} \end{equation}$

Diese Methode wird in der Bayes'schen Analyse in der Tat verwendet, wenn der Analytiker einen bestimmten Hyperparameter für seine Prioritäten nicht bequem auswählen kann und versucht, die Prioritäten weiter zu verbreiten, indem sie als unbekannt behandelt und verteilt werden. (Beachten Sie, dass dies nur eine implizite Möglichkeit ist, vor dem interessierenden Parameter $\theta$ eine diffusere Angabe zu machen .)

(Kommentar von statslearner2 unten) Ich suche nach numerisch äquivalenten MAP-Schätzungen. Zum Beispiel gibt es für einen Ridge mit fester Strafe einen Gaußschen Prior, der mir die MAP-Schätzung genau gleich der Ridge-Schätzung gibt. Was ist nun für den k-fachen CV-Kamm der Hyperprior, der mir die MAP-Schätzung geben würde, die der CV-Kamm-Schätzung ähnlich ist?

Bevor auf die $K$ fache Kreuzvalidierung eingegangen wird, ist zunächst anzumerken, dass das Maximum a posteriori (MAP) -Verfahren mathematisch einfach eine Optimierung einer Funktion des Parameters $\theta$ und der Daten $\mathbf{x}$ . Wenn Sie bereit sind, unzulässige Prioritäten zuzulassen, kapselt der Gültigkeitsbereich alle Optimierungsprobleme, die eine Funktion dieser Variablen betreffen. Somit weist jede frequentistische Methode, die als einzelnes Optimierungsproblem dieser Art gerahmt werden kann, eine MAP-Analogie auf, und jede frequentistische Methode, die nicht als einzelne Optimierung dieser Art gerahmt werden kann, weist keine MAP-Analogie auf.

In der obigen Modellform, die eine Straffunktion mit einem Abstimmungsparameter beinhaltet, wird üblicherweise eine $K$ fache Kreuzvalidierung verwendet, um den Abstimmungsparameter $\lambda$ abzuschätzen . Für diese Methode Sie den Datenvektor partitionieren $\mathbb{x}$ in $K$ Teilvektoren $\mathbf{x}_1,...,\mathbf{x}_K$ . Für jede der Untervektor $k=1,...,K$ Sie passen das Modell mit den "Trainings" -Daten $\mathbf{x}_{-k}$ und messen dann die Anpassung des Modells mit den "Test" -Daten $\mathbf{x}_k$ . In jeder Anpassung erhalten Sie einen Schätzer für die Modellparameter, der Ihnen Vorhersagen der Testdaten liefert, die dann mit den tatsächlichen Testdaten verglichen werden können, um ein Maß für den "Verlust" zu erhalten:

\begin{matrix} Estimator & \hat{θ} (x_{- k}, λ), \\ Predictions & {\hat{x}}_{k} (x_{- k}, λ), \\ Testing loss & L_{k} ({\hat{x}}_{k}, x_{k} | x_{- k}, λ) . \end{matrix}

$\begin{matrix} \text{Estimator} & & \hat{\theta}(\mathbf{x}_{-k}, \lambda), \\[6pt] \text{Predictions} & & \hat{\mathbf{x}}_k(\mathbf{x}_{-k}, \lambda), \\[6pt] \text{Testing loss} & & \mathscr{L}_k(\hat{\mathbf{x}}_k, \mathbf{x}_k| \mathbf{x}_{-k}, \lambda). \\[6pt] \end{matrix}$

Die Verlustmaße für jede der $K$ "Falten" können dann aggregiert werden, um ein Gesamtverlustmaß für die Kreuzvalidierung zu erhalten:

L (x, λ) = \sum_{k} L_{k} ({\hat{x}}_{k}, x_{k} | x_{- k}, λ)

$\mathscr{L}(\mathbf{x}, \lambda) = \sum_k \mathscr{L}_k(\hat{\mathbf{x}}_k, \mathbf{x}_k| \mathbf{x}_{-k}, \lambda)$

Man schätzt dann den Abstimmungsparameter durch Minimieren des Gesamtverlustmaßes:

\hat{λ} \equiv \hat{λ} (x) \equiv \underset{λ}{arg min} L (x, λ) .

$\hat{\lambda} \equiv \hat{\lambda}(\mathbf{x}) \equiv \underset{\lambda}{\text{arg min }} \mathscr{L}(\mathbf{x}, \lambda).$

$\theta$ $\lambda$ $\theta$

\begin{aligned} H_{x} (θ, λ) & = ℓ_{x} (θ) - w (θ | λ) - δ L (x, λ), \end{aligned}

$\delta > 0$ $\delta \rightarrow \infty$ $K$ $\delta = \infty$ $\delta$

From the above analysis we can see that it is possible to form a MAP analogy to the model-fitting and $K$ -fold cross-validation process. This is not an exact analogy, but it is a close analogy, up to arbitrarily accuracy. It is also important to note that the MAP analogy no longer shares the same likelihood function as the original problem, since the loss function depends on the data and is thus absorbed as part of the likelihood rather than the prior. In fact, the full analogy is as follows:

\begin{aligned} H_{x} (θ, λ) & = ℓ_{x} (θ) - w (θ | λ) - δ L (x, λ) \\ = \ln (\frac{L_{x}^{*} (θ, λ) π (θ, λ)}{\int L_{x}^{*} (θ, λ) π (θ, λ) d θ}) + const, \end{aligned}

$\begin{equation} \begin{aligned} \mathcal{H}_\mathbf{x}(\theta, \lambda) &= \ell_\mathbf{x}(\theta) - w(\theta|\lambda) - \delta \mathscr{L}(\mathbf{x}, \lambda) \\[6pt] &= \ln \Bigg( \frac{L_\mathbf{x}^*(\theta, \lambda) \pi (\theta, \lambda)}{\int L_\mathbf{x}^*(\theta, \lambda) \pi (\theta, \lambda) d\theta} \Bigg) + \text{const}, \\[6pt] \end{aligned} \end{equation}$

where $L_\mathbf{x}^*(\theta, \lambda) \propto \exp( \ell_\mathbf{x}(\theta) - \delta \mathscr{L}(\mathbf{x}, \lambda))$ and $\pi (\theta, \lambda) \propto \exp( -w(\theta|\lambda))$ , with a fixed (and very large) hyper-parameter $\delta$ .

$^\dagger$ This gives an improper prior in cases where the penalty does not correspond to the logarithm of a sigma-finite density.

Reinstate Monica
quelle

Ok +1 already, but for the bounty I'm looking for these more precise answers.

statslearner2

1. I do not get how (since frequentists generally use classical hypothesis tests, etc., which have no Bayesian equivalent) connects to the rest of what I or you are saying; parameter tuning has nothing to do with hypothesis tests, or does it? 2. Do I understand you correctly that there is no Bayesian equivalent to frequentist regularized estimation when the tuning parameter is selected by cross validation? What about empirical Bayes that amoeba mentions in the comments to the OP?

Richard Hardy

3. Since regularization with cross validation seems to be quite effective for, say, prediction, doesn't point 2. suggest that the Bayesian approach is somehow inferior?

Richard Hardy

@Ben, thanks for your explicit answer and the subsequent clarifications. You have once again done a wonderful job! Regarding 3., yes, it was quite a jump; it certainly is not a strict logical conclusion. But looking at your points w.r.t. 2. (that a Bayesian method can approximate the frequentist penalized optimization with cross validation), I no longer think that Bayesian must be "inferior". The last quibble on my side is, could you perhaps explain how the last, complicated formula could arise in practice in the Bayesian paradigm? Is it something people would normally use or not?

Richard Hardy

@Ben (ctd) My problem is that I know little about Bayes. Once it gets technical, I may easily lose the perspective. So I wonder whether this complicated analogy (the last formula) is something that is just a technical possibility or rather something that people routinely use. In other words, I am interested in whether the idea behind cross validation (here in the context of penalized estimation) is resounding in the Bayesian world, whether its advantages are utilized there. Perhaps this could be a separate question, but a short description will suffice for this particular case.

Richard Hardy

LASSO und Grat aus der Bayes'schen Perspektive: Was ist mit den Stimmparametern?

Antworten: