Regression ohne Abfangen: Ableiten von in kleinsten Quadraten (keine Matrizen)

8

In einer Einführung in das statistische Lernen (James et al.) In Abschnitt 3.7, Übung 5, heißt es, dass die Formel für Annahme einer linearen Regression ohne Achsenabschnitt lautet wobei und sind die unter OLS üblichen Schätzungen für einfache lineare Regression ( ).β^1& bgr;0=ˉy-β1ˉxβ1=Sxy

β^1=i=1nxiyii=1nxi2,
β^0=y¯β^1x¯ Sxy= n i=1(xi-x )(yi-y )β^1=SxySxxSxy=i=1n(xix¯)(yiy¯)

Dies ist nicht die eigentliche Übung ; Ich frage mich nur, wie ich die Gleichung ableiten soll. Wie leite ich es ab, ohne Matrixalgebra zu verwenden ?

Mein Versuch: Mit haben wir . β 1= ˉ yβ^0=0β^1=y¯x¯=SxySxx

Nach einiger Algebra kann gezeigt werden, dass und . Von hier stecke ich fest. S x x = n i = 1 x 2 i - n ˉ x 2Sxy=i=1nxi2nx¯y¯Sxx=i=1nxi2nx¯2

Klarinettist
quelle
1
Die Formel ergibt sich unmittelbar aus der geometrischen Interpretation der kleinsten Quadrate unter Verwendung vonals "Matcher" für und Erkennen der Formel für als. y ( β 1 ) x ( y ( x / |x/||x||y(β^1)x(y(x/||x||))x/||x||
whuber
@whuber: Anstatt zu schreiben würde ich schreibenWenn Ihnen das nicht auffällt, berücksichtigen Sie den typografischen Unterschied zwischen codiert als || x || || y || und codiert als \ | x \ | \ | y \ |. x /x . | | x | | | | y | | , X y ,x/||x||,x/x.||x||||y||,xy,
Michael Hardy

Antworten:

15

Dies ergibt sich aus der Definition der gewöhnlichen kleinsten Quadrate. Wenn es keinen Achsenabschnitt gibt, minimiert man . Dies ist in Abhängigkeit von glatt , sodass alle Minima (oder Maxima) auftreten, wenn die Ableitung Null ist. wir in Bezug auf differenzieren, erhalten wir . Das Auflösen nach ergibt die Formel. β β - i = n i = 1 2 ( y i - β x i ) x i βR(β)=i=1i=n(yiβxi)2ββi=1i=n2(yiβxi)xiβ

meh
quelle