Notationen für gemischte Modelle abstimmen

Ich kenne Notationen wie:

wobei

\begin{aligned} y_{i j} & = β_{0} + β_{i} x_{i j} + u_{j} + e_{i j} \\ = β_{0 j} + β_{i} x_{i j} + e_{i j} \end{aligned}

$\begin{align} y_{ij} &= \beta_0 + \beta_i x_{ij} + u_j + e_{ij}\\ &= \beta_{0j} + \beta_i x_{ij} + e_{ij} \end{align}$

, und

β_{0 j} = β_{0} + u_{j}

$\beta_{0j}=\beta_{0}+u_j$

wobeiund

\begin{aligned} y_{i j} & = β_{0} + β_{1} x_{i j} + u_{0 j} + u_{1 j} x_{i j} + e_{i j} \\ = β_{0 j} + β_{1 j} x_{i j} + e_{i j} \end{aligned}

$\begin{align} y_{ij} &= \beta_0 + \beta_1 x_{ij} + u_{0j} + u_{1j} x_{ij} + e_{ij} \\ &= \beta_{0j} + \beta_{1j} x_{ij} + e_{ij} \end{align}$

β_{0 j} = β_{0} + u_{0 j}

$\beta_{0j}=\beta_{0}+u_{0j}$

β_{1 j} = β_{1} + u_{1 j}

$\beta_{1j}=\beta_1+u_{1j}$

für ein Zufallsschnittstellenmodell bzw. ein Zufallssteigungs- + Zufallsschnittstellenmodell.

Ich bin auch auf diese Matrix / Vektor-Notation gestoßen, von der mir gesagt wurde, dass sie "gemischte Modellnotation für Erwachsene" ist (laut meinem älteren Bruder):

wobei die festen Effekte sind und

y = X β + Z b + e

$\mathbf{y}=\mathbf{X\beta} + \mathbf{Z b} + \mathbf{e}$

β

$\mathbf{\beta}$

sind die zufälligen Wirkungen.

b

$\mathbf{b}$

Wenn ich richtig verstanden habe, ist die letztere Notation eine allgemeinere Notation für die erstere, die spezifische Versionen der letzteren sind.

Ich möchte sehen, wie sich Ersteres von Letzterem ableiten lässt.

mixed-model mathematical-statistics Joe King
quelle

Fragen Sie nach einer Erklärung der Matrixnotation? Der Grund, den ich frage, ist, dass diese Frage keiner mathematischen Herleitung bedarf: Alle Ihre Formeln sagen genau das Gleiche, und die Beziehung zwischen ihnen ist nur eine Frage des Verständnisses der Funktionsweise der Matrixnotation.

Whuber

@whuber Ich verstehe Matrixnotation und Matrixalgebra bis zu einem gewissen Grad. Aber ich weiß nicht, wie ich von der Matrixform ausgehen und zu den anderen Formen gelangen soll. Wahrscheinlich verstehe ich etwas über die X- und Z-Matrizen nicht, aber ich hatte nur gehofft, dass jemand es formulieren würde.

Joe King

@whuber gibt es etwas, das ich tun kann, um die Frage zu verbessern, oder sagen Sie, dass es so einfach ist, dass es keine Antwort verdient?

Joe King

@ JoeKing: Ich denke, er sagt, dass die Matrixnotation per Definition Ihrer Nicht-Matrixnotation entspricht. Das heißt, Sie haben bereits

(ixj Matrix mal jx1 Matrix ergibt ix1 Matrix

), was

. (Sie können

rollen, indem Sie eine 1 in

x_{i j} β_{i}

$x_{ij}\beta_i$

y_{i}

$y_i$

y = X β

$y=X\beta$

β_{0}

$\beta_0$

β

$\beta$

X

$X$

Wayne

@ Wayne beide Modelle haben zufällige Effekte und feste Effekte. Der erste hat einen zufälligen Schnittpunkt, während der zweite einen zufälligen Schnittpunkt und eine zufällige Steigung hat. Wenn ich es selbst herausfinden könnte, würde ich die Frage hier nicht stellen !!!!

Joe King

Antworten:

Wir betrachten ein gemischtes Modell mit zufälligen Steigungen und zufälligen Abschnitten. Da wir nur einen Regressor haben, kann dieses Modell wie folgt geschrieben wird wobei bezeichnet die - Beobachtung der Gruppe der Antwort und und

y_{i j} = β_{0} + β_{1} x_{i j} + u_{0 j} + u_{1 j} x_{i j} + ϵ_{i j},

$y_{ij}= \beta_0 + \beta_1 x_{ij} + u_{0j}+u_{1j}x_{ij}+\epsilon_{ij},$

y_{i j}

$y_{ij}$

i

$i$

j

$j$

x_{i j}

$x_{ij}$

ϵ_{i j}

$\epsilon_{ij}$ der jeweilige Prädiktor und der Fehlerterm.

Dieses Modell kann in Matrixnotation wie folgt ausgedrückt werden:

welche äquivalent ist

Y = X β + Zb + ϵ,

$\mathbf{Y}=\mathbf{X}\beta + \textbf{Zb} + \epsilon,$

Y = [\begin{matrix} X & Z \end{matrix}] [\begin{matrix} β \\ b \end{matrix}] + ϵ

$\mathbf{Y}= \begin{bmatrix} \mathbf{X} & \textbf{Z} \end{bmatrix} \begin{bmatrix} \beta\\ \mathbf{b} \end{bmatrix}+ \epsilon$

Nehmen wir an, wir haben Gruppen, dh und bezeichnen die Anzahl der Beobachtungen in der ten Gruppe. Aufgeteilt für jede Gruppe können wir die obige Formel als schreiben $J$ $j=1,\dots,J$ $n_j$ $j$

[\begin{matrix} Y_{1} \\ Y_{2} \\ ⋮ \\ Y_{J} \end{matrix}] = [\begin{matrix} X_{1} & Z_{1} & 0 & 0 & 0 \\ X_{2} & 0 & Z_{2} & 0 & 0 \\ ⋮ & \dots \\ X_{J} & 0 & 0 & 0 & Z_{J} \end{matrix}] [\begin{matrix} β \\ b_{1} \\ b_{2} \\ ⋮ \\ b_{J} \end{matrix}] + [\begin{matrix} ϵ_{1} \\ ϵ_{2} \\ ⋮ \\ ϵ_{J} \end{matrix}]

$\begin{bmatrix} \mathbf{Y_1} \\ \mathbf{Y_2} \\ \vdots \\ \mathbf{Y_J} \end{bmatrix}=\begin{bmatrix} \mathbf{X_1} & \mathbf{Z_1} & 0 & 0 & 0 \\ \mathbf{X_2} & 0 & \mathbf{Z_2} & 0 & 0 \\ \vdots & & & \dots & \\ \mathbf{X_J} & 0 & 0 & 0 & \mathbf{Z_J} \end{bmatrix} \begin{bmatrix} \beta \\ b_1 \\ b_2 \\ \vdots \\ b_J \end{bmatrix}+\begin{bmatrix} \epsilon_1 \\ \epsilon_2 \\ \vdots \\ \epsilon_J \end{bmatrix}$

$\mathbf{Y_j}$ $n_j \times 1$ $j$ $\mathbf{X_j}$ $\mathbf{Z_j}$ $n_j \times 2$ $\epsilon_j$ $n_j \times 1$

Wenn wir sie ausschreiben, haben wir:

$\mathbf{Y_j} = \begin{bmatrix} y_{1j}\\ y_{2j}\\ \vdots \\ y_{n_jj} \end{bmatrix}, \mathbf{X_j}=\mathbf{Z_j}=\begin{bmatrix} 1 & x_{1j} \\ 1 & x_{2j} \\ \vdots & \vdots \\ 1 & x_{n_jj} \end{bmatrix}$ $\epsilon_j = \begin{bmatrix} \epsilon_{1j}\\ \epsilon_{2j}\\ \vdots \\ \epsilon_{n_jj} \end{bmatrix}.$

Die Regressionskoeffizientenvektoren sind dann

$\beta = \begin{pmatrix} \beta_0 \\ \beta_1 \end{pmatrix}$ $b_j=\begin{pmatrix} u_{0j}\\ u_{1j} \end{pmatrix}$

$j$

Y_{j} = X_{j} β + Z_{j} b_{j} + ϵ_{j}

$\mathbf{Y_j} = \mathbf{X_j} \beta + \mathbf{Z_j}b_j + \epsilon_j$

$i$

y_{i j} = β_{0} + β_{1} x_{i j} + u_{0 j} + u_{1 j} x_{i j} + ϵ_{i j},

$y_{ij}= \beta_0 + \beta_1 x_{ij} + u_{0j}+u_{1j}x_{ij}+\epsilon_{ij},$

i

$i$

1

$1$

n_{j}

$n_j$

Philipp Burckhardt
quelle

+1, ich möchte nur darauf hinweisen, dass die Implementierung von using große Rechenvorteile bietet

Z_{j}

$Z_j$ eher als die volle

Z

$Z$ Matrix. Das

Z_{j}

$Z_j$ sind im Grunde eine Sparse-Matrix-Storage-Version von

Z

$Z$

Wahrscheinlichkeitslogik