Berechnung von Standardfehlern für lineare Regressionsprobleme ohne Berechnung der Inversen

Gibt es eine schnellere Möglichkeit, Standardfehler für lineare Regressionsprobleme zu berechnen, als durch Invertieren von ? Hier gehe ich davon aus, dass wir eine Regression haben: $X'X$

y = X β + ε,

$y=X\beta+\varepsilon,$

wobei eine Matrix und ein Vektor ist. $X$ $n\times k$ $y$ $n\times 1$

Um eine Problemlösung für die kleinsten Quadrate zu finden, ist es unpraktisch, irgendetwas mit zu tun. Sie können QR- oder SVD-Zerlegungen direkt auf Matrix . Alternativ können Sie auch Verlaufsmethoden verwenden. Aber was ist mit Standardfehlern? Wir brauchen wirklich nur die Diagonale von (und natürlich die LS-Lösung, um die Schätzung des Standardfehlers von zu berechnen ). Gibt es spezielle Methoden zur Standardfehlerberechnung? $X'X$ $X$ $(X'X)^{-1}$ $\varepsilon$

linear-algebra optimization mpiktas
quelle

Antworten:

$X$

X = U Σ V^{'},

$X = U\Sigma V',$

$U$ $V$ $\Sigma$

Dann

X^{'} X = V Σ^{2} V^{'} .

$X'X = V \Sigma^2 V'.$

$(X'X)^{-1}$ $X$

(X^{'} X)^{- 1} = V Σ^{- 2} V^{'} .

$(X'X)^{-1} = V \Sigma^{-2} V'.$

(Siehe eine Antwort, die ich auf eine verwandte Frage zu Math.SE gegeben habe .)

$\Sigma$ $V$ $(X'X)^{-1}$ $n$ $n \times n$ $n^2$ $\mathcal{O}(n^{3})$

$X'X$ $X$

Geoff Oxberry
quelle

+1, ich habe diese schöne SVD-Eigenschaft vergessen. Wenn keine anderen Antworten kommen, werde ich diese Antwort akzeptieren, da sie ziemlich nahe an der liegt, die ich bekommen wollte (und sicherlich Größenordnungen besser als die, die ich erwartet hatte :))

mpiktas

(X^{'} X)^{- 1}

$(X'X)^{-1}$

O (n^{2})

$\mathcal{O}(n^2)$

X

$X$

(X^{'} X)^{- 1}

$(X'X)^{-1}$

Σ

$\Sigma$

Ignoriere den letzten Kommentar, da liegt ein Fehler vor. Ich habe allerdings die richtige Formel.

mpiktas