Ausfall in der linearen Regression

$\newcommand{E}{\text{E}}$ Lassen Sie uns zunächst für die Bequemlichkeit. Wenn wir den Verlust erweitern, haben wir Nehmen wir die Erwartung für so haben wir Der erwartete Wert einer Matrix ist die Matrix der erwarteten Werte, also also Für den letzten Term gilt daher Wenn $R * X = M$

‖ y - - M. w ‖^{2} = y^{T.} y - - 2 w^{T.} {M.}^{T.} y + w^{T.} {M.}^{T.} M. w .

$\|y - Mw\|^2 = y^Ty - 2w^TM^Ty + w^TM^TMw.$

R

$R$

{E.}_{R.} (‖ y - - M. w ‖^{2}) = y^{T.} y - - 2 w^{T.} (E. M.)^{T.} y + w^{T.} E. ({M.}^{T.} M.) w .

$\E_R\left(\|y - Mw\|^2\right) = y^Ty - 2w^T(\E M)^Ty + w^T\E(M^TM)w.$

({E.}_{R.} M.)_{ich j} = {E.}_{R.} ((R. * X.)_{ich j}) = {X.}_{ich j} {E.}_{R.} ({R.}_{ich j}) = p {X.}_{ich j}

$(\E_R M)_{ij} = \E_R((R * X)_{ij}) = X_{ij}\E_R(R_{ij}) = p X_{ij}$

2 w^{T.} (E. M.)^{T.} y = 2 p w^{T.} {X.}^{T.} y .

$2w^T(\E M)^Ty = 2pw^TX^Ty.$

(M^{T} M)_{i j} = \sum_{k = 1}^{N} M_{k i} M_{k j} = \sum_{k = 1}^{N} R_{k i} R_{k j} X_{k i} X_{k j}

$(M^TM)_{ij} = \sum_{k=1}^N M_{ki}M_{kj} = \sum_{k=1}^N R_{ki}R_{kj}X_{ki}X_{kj}$

(E_{R} M^{T} M)_{i j} = \sum_{k = 1}^{N} E_{R} (R_{k i} R_{k j}) X_{k i} X_{k j} .

$(\E_R M^TM)_{ij} = \sum_{k=1}^N \E_R(R_{ki}R_{kj})X_{ki}X_{kj}.$

i \neq j

$i \neq j$ dann sind sie unabhängig, so dass die nicht diagonalen Elemente zu . Für die diagonalen Elemente haben wir

p^{2} (X^{T} X)_{i j}

$p^2 (X^TX)_{ij}$

\sum_{k = 1}^{N} E_{R} (R_{k i}^{2}) X_{k i}^{2} = p (X^{T} X)_{i i} .

$\sum_{k=1}^N \E_R(R_{ki}^2)X_{ki}^2 = p(X^TX)_{ii}.$

Wenn wir dies , können wir feststellen, dass und wir haben In ich gezeigt, dass jedes nicht diagonale Element Null ist, so dass das Ergebnis Das Papier definiert also was bedeutet, dass wir sind fertig.

‖ y - - p X. w ‖^{2} = y^{T.} y - - 2 p w^{T.} {X.}^{T.} y + p^{2} w^{T.} {X.}^{T.} X. w

$\|y - pXw\|^2 = y^Ty - 2pw^TX^Ty + p^2w^TX^TXw$

{E.}_{R.} ‖ y - - M. w ‖^{2} = y^{T.} y - - 2 p w^{T.} {X.}^{T.} y + w^{T.} {E.}_{R.} ({M.}^{T.} M.) w = ‖ y - - p X. w ‖^{2} - - p^{2} w^{T.} {X.}^{T.} X. w + w^{T.} {E.}_{R.} ({M.}^{T.} M.) w = ‖ y - - p X. w ‖^{2} + w^{T.} ({E.}_{R.} ({M.}^{T.} M.) - - p^{2} {X.}^{T.} X.) w .

E_{R} (M^{T} M) - p^{2} X^{T} X

$\E_R(M^TM) - p^2 X^TX$

{E.}_{R.} ({M.}^{T.} M.) - - p^{2} {X.}^{T.} X. = p (1 - - p) diag ({X.}^{T.} X.) .

$\E_R(M^TM) - p^2 X^TX = p(1-p)\text{diag}(X^TX).$

Γ = diag (X^{T} X)^{1 / 2}

$\Gamma = \text{diag}(X^TX)^{1/2}$

‖ Γ w ‖^{2} = w^{T} diag (X^{T} X) w

$\|\Gamma w\|^2 = w^T\text{diag}(X^TX)w$

jld
quelle

Ausfall in der linearen Regression

Antworten: