In diesem ( Bayesianische Inferenz für Varianzkomponenten, die nur Fehlerkontraste verwenden , Harville, 1974) behauptet der Autor als "bekannt" Beziehung ", für eine lineare Regression wobei y = X β
ϵ ∼ N ( 0 , H ) .
Wie ist das bekannt? Was ist der einfachste Weg, dies zu beweisen?
regression
regression-coefficients
heteroscedasticity
bias
linear-algebra
Sibbs Glücksspiel
quelle
quelle
Antworten:
Der letzte Term in der Gleichung kann wie folgt geschrieben werden
In dieser Form sagt die Gleichung etwas Interessantes. Angenommen, ist positiv bestimmt und symmetrisch, so ist es auch umgekehrt. Daher können wir ein inneres Produkt , das uns Geometrie gibt. Dann sagt die obige Gleichheit im Wesentlichen, dassH <x,y>H−1=x′H−1y
Ich wollte Ihnen diese Intuition geben, da ein Kommentator bereits einen Link zur Ableitung hinterlassen hat.
Edit: Für die Nachwelt
LHS:
RHS:
Beziehung:
Durch Einstecken der Beziehung können Sie zeigen, dass (B) = (F) und dass 2 (E) = (D). Alles erledigt.
quelle
Sie gelangen zu dieser Identität durch eine Technik, die als Vervollständigung des Quadrats bezeichnet wird. Die linke Seite hat eine quadratische Form. Multiplizieren Sie sie daher zunächst
fort und schreiben Sie dann neu in Form von . Die Algebra ist ziemlich lang, aber googeln, um das Quadrat in der Bayes'schen Regression zu vervollständigen, und Sie können viele Hinweise finden. Siehe zum Beispiel die Wikipedia zur linearen Bayes'schen Regression und andere CrossValided-Antworten zum Ausfüllen des Quadrats, wie hier .β^=(X′H−1X)−1X′H−1y
quelle
Wenn Sie Ihre Matrixalgebra kennen, sollte dies möglich sein, indem Sie alles multiplizieren und überprüfen, ob Sie tatsächlich auf beiden Seiten dasselbe haben. Dies hat jlimahaverford gezeigt.
Dazu benötigen Sie die Formel für die Schätzung von . Wir können die Formel auf ähnliche Weise wie für die lineare Regression ableiten, wenn wir nicht korrelierte Fehlerterme haben. Der Trick ist zu standardisieren.β^
Hier finden Sie einige Informationen zum Standardisieren eines Wohnmobils, das aus einer multivariaten Normalverteilung stammt. Nehmen wir an, Sie haben ist definitiv positiv, Sie können es also als faktorisieren . Nun kommt die Zufallsvariable aus der Verteilung . Jetzt können wir diesen Trick für unser Problem verwenden, um . Lassen Sie uns faktorisieren . Wir haben Now wurde so standardisiert, dass
quelle