Gibt es eine Bayes'sche Interpretation für REML?

Gibt es eine Bayesianische Interpretation von REML? Meiner Intuition nach hat REML eine starke Ähnlichkeit mit sogenannten empirischen Bayes- Schätzverfahren, und ich frage mich, ob eine Art asymptotischer Äquivalenz (etwa unter einer geeigneten Klasse von Priors) nachgewiesen wurde. Sowohl empirische Bayes als auch REML scheinen als "kompromittierte" Schätzungsansätze zu gelten, die beispielsweise angesichts von Störparametern durchgeführt werden.

Was ich mit dieser Frage vor allem suche, ist die hochrangige Einsicht, die diese Art von Argumenten tendenziell liefert. Wenn ein Argument dieser Art aus irgendeinem Grund nicht sinnvoll für REML weiterverfolgt werden kann, würde eine Erklärung, warum dies so ist, natürlich auch eine willkommene Einsicht liefern!

Bayesianische Interpretationen existieren nur im Rahmen der Bayesianischen Analyse für Schätzer, die sich auf eine posteriore Verteilung beziehen. Die einzige Möglichkeit, dem REML-Schätzer eine Bayes'sche Interpretation zukommen zu lassen (dh eine Interpretation als Schätzer aus dem posterioren Bereich), besteht darin, die eingeschränkte log-Wahrscheinlichkeit in der REML-Analyse als log-posterior in einem entsprechenden Bereich zu betrachten Bayes-Analyse; In diesem Fall wäre der REML-Schätzer ein MAP-Schätzer aus der Bayes'schen Theorie mit seiner entsprechenden Bayes'schen Interpretation.

---

Festlegen des REML-Schätzers als MAP-Schätzer: Es ist relativ einfach zu verstehen, wie die eingeschränkte Log-Wahrscheinlichkeit in der REML-Analyse als log-posterior in einer Bayes-Analyse festgelegt wird. Zu diesem Zweck muss das Protokoll-Vorzeichen das Negativ des Teils der Protokollwahrscheinlichkeit sein, der vom REML-Prozess entfernt wird. Angenommen , wir lügen-Wahrscheinlichkeit haben wobei $\ell_\mathbf{x}(\theta, \nu) = \ell_*(\theta, \nu) + \ell_{\text{RE}}(\theta)$ist das Rest Lügt-Likelihood und$\ell_{\text{RE}}(\theta)$$\theta$ist der interessierende Parameter (wobei unser Störparameter ist). Die vorherige Einstellung auf & pgr; ( θ , ν ) α exp ( - l * ( θ , ν ) ) gibt entsprechende posterior:$\nu$$\pi(\theta, \nu) \propto \exp(-\ell_*(\theta, \nu))$

$$\begin{equation} \begin{aligned} \pi(\theta|\mathbf{x}) &\propto \int L_\mathbf{x}(\theta, \nu) \pi(\theta, \nu) d\nu \\[6pt] &\propto \int \exp(\ell_\mathbf{x}(\theta, \nu)) \exp(-\ell_*(\theta, \nu)) d\nu \\[6pt] &= \int \exp(\ell_\mathbf{x}(\theta, \nu) - \ell_*(\theta, \nu)) d\nu \\[6pt] &= \int \exp(\ell_*(\theta, \nu) + \ell_{\text{RE}}(\theta) - \ell_*(\theta, \nu)) d\nu \\[6pt] &= \int \exp(\ell_{\text{RE}}(\theta)) d\nu \\[6pt] &= \int L_{\text{RE}}(\theta) d\nu \\[6pt] &\propto L_{\text{RE}}(\theta). \\[6pt] \end{aligned} \end{equation}$$

Das gibt uns:

$$\hat{\theta}_\text{MAP} = \arg \max_\theta \pi(\theta|\mathbf{x}) = \arg \max_\theta L_{\text{RE}}(\theta) = \hat{\theta}_\text{REML}.$$

Dieses Ergebnis ermöglicht es uns, den REML-Schätzer als einen MAP-Schätzer zu interpretieren, so dass die richtige Bayes'sche Interpretation des REML-Schätzers darin besteht, dass es der Schätzer ist, der die hintere Dichte unter dem obigen Prior maximiert .

$\ell_*(\theta, \nu)$

Aufgrund dieser Probleme könnte man argumentieren, dass es für den REML-Schätzer keine vernünftige Bayes'sche Interpretation gibt. Alternativ könnte man argumentieren, dass der REML-Schätzer immer noch die obige Bayes'sche Interpretation beibehält und ein Maximum- a-posteriori- Schätzer unter einem "Prior" ist, der sich zufällig mit den beobachteten Daten in der angegebenen Form ausrichten muss, und extrem unpassend sein kann.

---

$x_1,...,x_n \sim \text{N}(\nu, 1/\theta)$$\theta$$\nu$

$$\ell_\mathbf{x}(\nu,\theta) = - \frac{n}{2} \ln \theta - \frac{\theta}{2} \sum_{i=1}^n (x_i-\nu)^2.$$

In REML teilen wir diese Log-Wahrscheinlichkeit in zwei Komponenten auf:

$$\begin{equation} \begin{aligned} \ell_*(\nu,\theta) &= - \frac{n}{2} \ln \theta - \frac{\theta}{2} \sum_{i=1}^n (x_i-\nu)^2 \\[10pt] \ell_\text{RE}(\theta) &= - \frac{n-1}{2} \ln \theta - \frac{\theta}{2} \sum_{i=1}^n (x_i-\bar{x})^2. \end{aligned} \end{equation}$$

Wir erhalten den REML-Schätzer für den Genauigkeitsparameter durch Maximieren der Restwahrscheinlichkeit, was einen unverzerrten Schätzer für die Varianz ergibt:

$$\frac{1}{\hat{\theta}_\text{REML}} = \frac{1}{n-1} \sum_{i=1}^n (x_i-\bar{x})^2.$$

In diesem Fall entspricht der REML-Schätzer einem MAP-Schätzer für die "vorherige" Dichte:

$$\pi(\theta) \propto \theta^{n/2} \exp \Bigg( \frac{\theta}{2} \sum_{i=1}^n (x_i-\nu)^2 \Bigg).$$

As you can see, this "prior" actually depends on the observed data values, so it cannot actually be formed prior to seeing the data. Moreover, we can see that it is clearly an "improper" prior that puts more and more weight on extreme values of $\theta$ and $\nu$. (Actually, this prior is pretty bonkers.) If by "coincidence" you were to form a prior that happened to correspond to this outcome then the REML estimator would be a MAP estimator under that prior, and hence would have a Bayesian interpretation as the estimator that maximises the posterior under that prior.