Warum ist es schwierig, Unsicherheit in zufällige Effekte einzubeziehen, wenn Vorhersagen aus gemischten Modellen getroffen werden?

Auf R-sig-ME gibt es mehrere Themen zum Erhalten von Konfidenzintervallen für Vorhersagen mit lme4und nlmein R. Zum Beispiel hier und hier im Jahr 2010, einschließlich einiger Kommentare von Dougals Bates, einem der Autoren beider Pakete. Ich zögere, ihn wörtlich zu zitieren, aus Angst, dass sie aus dem Zusammenhang gerissen werden, aber ein Kommentar, den er macht, ist

"Sie kombinieren Parameter und Zufallsvariablen in Ihren Vorhersagen, und ich bin mir nicht sicher, was es bedeuten würde, die Variabilität dieser Vorhersagen zu bewerten. Ein Bayesianer kann es vielleicht verstehen, aber ich kann es nicht verstehen. "" https://stat.ethz.ch/pipermail/r-sig-mixed-models/2010q1/003447.html

Ich weiß, dass das Bayes'sche glmm-Paket MCMCglmmglaubwürdige Intervalle für Vorhersagen liefern kann.

In letzter Zeit wurde der Entwicklungsversion von lme4on github eine predictMethode gegeben, die jedoch von folgendem Kommentar begleitet wird:

"@note Es gibt keine Option zum Berechnen von Standardfehlern von Vorhersagen, da es schwierig ist, eine effiziente Methode zu definieren, die Unsicherheit in die Varianzparameter einbezieht. Wir empfehlen für diese Aufgabe \ code {\ link {bootMer}}." https://github.com/lme4/lme4/blob/master/R/predict.R

Warum ist es also schwierig, Unsicherheit in zufällige Effekte einzubeziehen, wenn Vorhersagen aus gemischten Modellen in einer frequentistischen Umgebung getroffen werden?

Ich bin mir über den Kommentar zur Vorhersagemethode nicht sicher, aber ein Hauptproblem hängt mit der Erzeugung leicht interpretierbarer Varianzmaße zusammen, nicht mit Varianzmaßen an sich. Bates kommentiert im ersten Zitat nicht, ob Sie es können, nur was es bedeutet.

Nehmen Sie ein einfaches mehrstufiges Modell eines zweistufigen Entwurfs mit wiederholten Messungen. Angenommen, Sie haben die folgenden Daten, bei denen jede Zeile ein Betreff ist:

Im lmerModell könnte ausgedrückt werden als:

y ~ x + (1|subject)

Sie sagen den y-Wert von x als festen Effekt voraus (die Differenz zwischen A und B); und das Abfangen eines zufälligen Effekts **. Schauen Sie sich das Diagramm genau an und beachten Sie, dass der x-Effekt für jedes Motiv (Steigung jeder Linie) zwar variabel ist, aber im Vergleich zur Variabilität zwischen den Motiven (Höhe jeder Linie) relativ gering ist.

Das Modell analysiert diese beiden Variabilitätssätze und jeder ist sinnvoll. Sie können die zufälligen Effekte verwenden, um die Höhe von Linien vorherzusagen, und Sie können feste Effekte von x verwenden, um Steigungen vorherzusagen. Sie können die beiden sogar kombinieren, um unsere individuellen y-Werte zu berechnen. Was Sie jedoch nicht tun können, ist wirklich etwas Sinnvolles in Bezug auf Ihr Modell zu sagen, wenn Sie die Variabilität von Steigungen und Linienhöhen miteinander kombinieren. Sie müssen über die Variabilität Ihrer Steigungen und Linienhöhen separat sprechen. Das ist ein Merkmal des Modells, keine Haftung.

Sie haben eine Variabilität des Effekts von x, die relativ leicht geschätzt werden kann. Man könnte etwas über ein Konfidenzintervall dazu sagen. Beachten Sie jedoch, dass dieses Konfidenzintervall eine geringe Beziehung zur Vorhersage eines bestimmten y-Werts hat, da der y-Wert durch eine Kombination aus Effekt und Subjektvarianz beeinflusst wird, die sich von der Variabilität des Effekts allein unterscheidet.

Wenn Bates Dinge schreibt, wie Sie sie zitiert haben, denke ich, dass er oft an viel komplexere mehrstufige Designs denkt, die dies nicht einmal annähert. Aber selbst wenn Sie nur dieses einfache Beispiel betrachten, fragen Sie sich, welche Art von wirklicher Bedeutung sich aus der Kombination aller Varianzmaße ergibt.

** Ich habe den festen Effekt des Abfangens der Einfachheit halber ignoriert und ihn einfach als zufälligen Effekt behandelt. Sie könnten ähnliche Schlussfolgerungen aus einem noch einfacheren Modell mit nur einem zufälligen und festen Achsenabschnitt extrahieren, aber ich denke, dass es schwieriger wäre, dies zu vermitteln. Auch in diesem Fall werden der feste Effekt und der zufällige Effekt aus einem bestimmten Grund analysiert und haben unterschiedliche Bedeutungen. Wenn die Variabilität für vorhergesagte Werte wieder zusammengesetzt wird, ist diese Variabilität in Bezug auf das Modell wenig sinnvoll.

Ich habe mich lange über die scheinbar verbreitete Überzeugung gewundert, dass es einen grundlegenden Unterschied zwischen festen und zufälligen Effekten für (im Allgemeinen nichtlineare) Modelle mit gemischten Effekten gibt. Dieser Glaube wird zum Beispiel von Bates in der folgenden Antwort angegeben

https://stat.ethz.ch/pipermail/r-sig-mixed-models/2010q1/003447.html

Bates gibt klar an, dass er glaubt, dass es einen grundlegenden Unterschied zwischen festen und zufälligen Effekten gibt, so dass sie nicht kombiniert werden können. Ich denke, er liegt falsch und ich hoffe, einige Leser von einer alternativen Sichtweise zu überzeugen. Ich verfolge einen frequentistischen Ansatz. Ich möchte also einen Begriff der Profilwahrscheinlichkeit für eine Funktion sowohl der festen als auch der zufälligen Effekte definieren. Um die Diskussion zu motivieren, nehmen wir an, wir haben ein Zwei-Parameter-Modell mit den Parametern x und u (bisher nichts über zufällige Effekte). Sei die Wahrscheinlichkeitsfunktion, bei der wir jeden Verweis auf die Daten unterdrücken. Sei eine beliebige (schöne) Funktion von x und u. Die Profilwahrscheinlichkeit für die Funktion ist gegeben durchg ( x , u ) P g ( t ) $L(x,u)$$g(x,u)$$P_g(t)$$g$

$$P_g(t)=\max_{x,u} \{L(x,u)\ |\ g(x,u)=t \} \eqno(1)$$

Ich glaube, dass niemand damit streiten würde. Nehmen wir nun an, wir haben eine vorherige Wahrscheinlichkeitsverteilung für u. Dann würde ich behaupten, dass die Profilwahrscheinlichkeit für immer noch sinnvoll ist, aber wir sollten (1) ändern, indem wir den Prior einbeziehen.$p(u)$$g$

$$P_g(t)=\max_{x,u} \{L(x,u)p(u)\ |\ g(x,u)=t \} \eqno(2)$$ Beachten Sie, dass ein Parameter mit ist a prior ist es genau das gleiche wie das, was als zufälliger Effekt bezeichnet wird. Warum denken viele Leute, dass zufällige Effektparameter irgendwie unterschiedlich sind? Der Unterschied, den ich denke, ergibt sich aus der üblichen Praxis der Parameterschätzung für sie. Was zufällige Effekte "anders" macht, ist, dass es in vielen Modellen viele davon gibt. Um nützliche Schätzungen für die festen Effekte (oder andere Parameter) zu erhalten, müssen die zufälligen Effekte auf andere Weise behandelt werden. Wir integrieren sie aus dem Modell. Im obigen Modell würden wir die Wahrscheinlichkeit wobei Nun das$u$$F(x)$ $$F(x) = \int L(x,u)p(u)du$$ $u$sind weg. Wenn wir also nur haben, scheint es keinen Sinn zu machen, über die Profilwahrscheinlichkeit für eine Funktion zu sprechen .$F(x)$$g(x,u)$

Um Informationen über die Funktion , sollten wir nicht über den Parameter . Aber was passiert in dem Fall, in dem es viele zufällige Effektparameter gibt? Dann behaupte ich, wir sollten uns über "die meisten" integrieren, aber nicht alle in einem Sinne, den ich präzisieren werde. Um die Konstruktion zu motivieren, gebe es zufällige Effekte . Betrachten Sie den Sonderfall, in dem die Funktion nur von abhängt und tatsächlich die einfachste vorstellbare Funktion ist, . Integriere über die zufälligen Effekte , um zu erhalten $g(x,u)$$u$$n$$u=(u_1,u_2,...,u_{n-1},u_n)$$g(x,u)$$u_n$$g(x,u)=u_n$$u_1,u_2,...,u_{n-1}$

$$F(x,u_n) = \int L(x,u_1,...,u_n)p(u_1,...,u_n))du_1du_2...du_{n-1}\eqno(4)$$ wie zuvor wir können die Profilwahrscheinlichkeit Verallgemeinern damit es für eine beliebige Funktion Sinn macht . , dass die Definition von in dieselbe ist wie Um diese Anmerkung zu sehen, ist für den einfachen Fall , dasselbe wie $$P_g(t)=\max_{x,u_n} \{F(x,u_n) | u_n=t \} \eqno(3)$$ $(3)$$g(x,u)$$F(x,u_n)$$(4)$ $$F(x,s) = \lim_{\epsilon\rightarrow 0}{1\over\epsilon} \int_{\{(x,u_n) | s-\epsilon/2<g(x,u_n)<s+\epsilon/2\}} L(x,u_1,...,u_n)p(u_1,...,u_n))du_1du_2...du_n\eqno(5)$$ $g(x,u)=u_n$$(5)$ $$F(x,s)=\lim_{\epsilon\rightarrow 0}{1\over\epsilon} \int_{\{(x,u_n) | s-\epsilon/2<u_n<s+\epsilon/2\}} F(x,u_n)du_n\eqno(6)$$

Für eine allgemeine Funktion bilden wir die durch definierte Funktion und berechnen die Profilwahrscheinlichkeit $g(x,u)$$F(x,s)$$(5)$

$$P_g(s)=\max_{x,u} \{F(x,s) | g(x,u)=s \} \eqno(3)$$

Diese Profilwahrscheinlichkeit ist ein genau definiertes Konzept und steht für sich allein. Um jedoch in der Praxis nützlich zu sein, muss man in der Lage sein, seinen Wert zumindest ungefähr zu berechnen. Ich glaube, dass für viele Modelle die Funktion mit einer Variante der Laplace-Näherung gut genug approximiert werden kann. Definieren Sie durch Sei H der Hessische des Logs der Funktion in Bezug auf die Parameter und .$F(x,s)$$\hat x(s),\hat u(s)$

$$\hat x(s),\hat u(s)= \max_{x,u} \{L(x,u)p(u)\ |\ g(x,u)=s\}$$ $-L(x,u)p(u)$$x$$u$

Die Niveausätze von sind dimensionale Untervielfalt eines dimensionalen Raums, in dem es feste Effekte und zufällige Effekte gibt. Wir müssen eine Form über diesen Verteiler integrieren, wobei alles bei linearisiert ist. Dies beinhaltet ein bisschen elementare Differentialgeometrie. Angenommen, Durch Umparametrieren können wir annehmen, dass und . Dann betrachten Sie die Karte $g$$m+n-1$$n+m$$m$$n$$n$$du_1\wedge du_2\wedge\ldots\wedge du_n$$\hat x(s),\hat u(s)$$g_{x_n}(\hat x(s),\hat u(s))\ne 0$$\hat x(s)=0$$\hat u(s)=0$

$$(x_1,x_2,\ldots,x_{m-1},u_1,u_2,\ldots,u_n) \rightarrow (x_1,x_2,\ldots,x_{m-1}, {-\sum_{i=1}^{m-1}g_{x_i}x_i-\sum_{i=1}^ng_{u_i}u_i\over g_{x_m}}, u_1,u_2,\ldots,u_n)$$ wobei verwendet wird bezeichnen die partielle Ableitung von in Bezug auf die am Maximalpunkt ausgewertet wird. Dies ist eine lineare Abbildung des Dimensionsraums auf den Tangentenraum des Niveausatzes von . Wir können es verwenden, um das gewünschte Integral zu berechnen. Erstens ist der Rückzug der 1 Formen einfach sie selbst.$g_{x_i}$$g$$x_i$$m+n-1$$g$$du_i$

Der Rückzug des Hessischen ist die quadratische Form

$$T_{i,j} =H_{i+m,j+m}+{g_{u_i}g_{u_j}\over {g_{x_m}}^2}H_{m,m}\quad \hbox{\rm for} \ 1<=i,j<=n$$

Das Integral kann also über die Laplace-Näherung berechnet (oder angenähert) werden. Dies ist die übliche Formel, die den Logarithmus der Determinante von , der über die Cholesky-Zerlegung berechnet wird. Der Wert der Laplace-Näherung des Integrals ist wobeiist die Determinante. Wir müssen uns noch mit der Breite des Level-Sets von als befassen. Um dies zuerst zu bestellen, hat dies den Wert Dabei ist der Vektor partieller Ableitungen von $T$

$$L(\hat x(s),\hat u(s))|-T|^{1\over2}$$ $|\cdot|$$g$$\epsilon\rightarrow 0$$\epsilon/\|\nabla g(\hat x(s),\hat u(s))\|$$\nabla g(\hat x(s),\hat u(s)))$$g$ $( g_{x_1}, g_{x_2}, \ldots, g_{x_m}, g_{u_1}, g_{u_2}, \ldots, g_{u_n})$ so dass der Wahrscheinlichkeitswert auf dem von angegeben wird durch Dies ist die richtige Näherung zur Berechnung der Profilwahrscheinlichkeit.$g$ $${L(\hat x(s),\hat u(s))|-T|^{1\over2}\over \|\nabla g(\hat x(s),\hat u(s))\|}$$