Intuition hinter in geschlossener Form von w in der linearen Regression

10

Die geschlossene Form von w in der linearen Regression kann wie folgt geschrieben werden

w^=(XTX)1XTy

Wie können wir die Rolle von in dieser Gleichung intuitiv erklären ?(XTX)1

Darshak
quelle
2
Könnten Sie näher erläutern, was Sie unter "intuitiv" verstehen? Zum Beispiel gibt es eine wunderbar intuitive Erklärung in Bezug auf innere Produkträume, die in Christensens Flugzeugantworten auf komplexe Fragen dargestellt werden, aber nicht jeder wird diesen Ansatz zu schätzen wissen. Als weiteres Beispiel gibt es eine geometrische Erklärung in meiner Antwort unter stats.stackexchange.com/a/62147/919 , aber nicht jeder betrachtet geometrische Beziehungen als "intuitiv".
whuber
Intuitiv ist wie, was bedeutet $ (X ^ TX) ^ {- 1}? Ist es eine Art Entfernungsberechnung oder so, ich verstehe es nicht.
Darshak
1
Das ist in der Antwort, auf die ich verlinkt habe, vollständig erklärt.
whuber
Diese Frage existiert hier bereits, obwohl möglicherweise nicht mit einer zufriedenstellenden Antwort math.stackexchange.com/questions/2624986/…
Sextus Empiricus

Antworten:

5

Ich fand diese Beiträge besonders hilfreich:

Wie leite ich den Schätzer der kleinsten Quadrate für die multiple lineare Regression ab?

Beziehung zwischen SVD und PCA. Wie verwende ich SVD, um PCA durchzuführen?

http://www.math.miami.edu/~armstrong/210sp13/HW7notes.pdf

Wenn eine Matrix dann die Matrix eine definiert Projektion auf die Säule Raum . Intuitiv haben Sie ein überbestimmtes Gleichungssystem, möchten es aber dennoch verwenden, um eine lineare Abbildung , die die Zeilen von auf etwas in der Nähe der Werte , abbildet . Wir entscheiden uns also dafür, an das nächstgelegene Objekt zu zu senden , das als lineare Kombination Ihrer Merkmale (die Spalten von ) ausgedrückt werden kann . n × p X ( X T X ) - 1 X T X R pR x i X y i i { 1 , , n } X y X.Xn×pX(XTX)1XTXRpRxiXyii{1,,n}XyX

Was die Interpretation von , habe ich noch keine erstaunliche Antwort. Ich weiß, dass Sie sich als die Kovarianzmatrix des Datensatzes vorstellen können. ( X T X )(XTX)1(XTX)

James McKeown
quelle
(XTX) wird manchmal als "Streumatrix" bezeichnet und ist nur eine
vergrößerte
4

Geometrischer Standpunkt

Ein geometrischer Gesichtspunkt kann wie die n-dimensionalen Vektoren und , die Punkte im n-dimensionalen Raum . Wobei sich auch in dem Unterraum , der von den Vektoren überspannt wird .X β V X β W x 1 , x 2 , , x myXβVXβ^Wx1,x2,,xm

Projektion

Zwei Arten von Koordinaten

Für diesen Unterraum wir uns zwei verschiedene Arten von Koordinaten vorstellen :W

  • Dasβ ist wie Koordinaten für einen regulären Koordinatenraum. Der Vektor im Raum ist die lineare Kombination der VektorenzWxi
    z=β1x1+β2x1+....βmxm
  • Dieα nicht Koordinaten in dem regulären Sinne, sondern sie haben einen Punkt im Subraum definieren . Jedes bezieht sich auf die senkrechten Projektionen auf die Vektoren . Wenn wir Einheitsvektoren (der Einfachheit halber), können die "Koordinaten" für einen Vektor ausgedrückt werden als:Wαixixiαiz

    αi=xiTz

    und die Menge aller Koordinaten als:

α=XTz

Zuordnung zwischen den Koordinaten undαβ

Für der Ausdruck "Koordinaten" zu einer Konvertierung von Koordinaten in "Koordinaten"z=Xβαβα

α=XTXβ

Sie können sehen, dass ausdrückt, wie viel jedes auf das andere projiziert x i x j(XTX)ijxixj

Dann kann die geometrische Interpretation von als Karte von Vektorprojektions- "Koordinaten" zu linearen Koordinaten . α β(XTX)1αβ

β=(XTX)1α

Der Ausdruck gibt die Projektions- "Koordinaten" von und verwandelt sie in .y ( X T X ) - 1 & bgr;XTyy(XTX)1β


Hinweis : Die Projektionskoordinaten von sind die gleichen wie die Projektionskoordinaten von da .y ( y - y ) Xy y^(yy^)X

Sextus Empiricus
quelle
Ein sehr ähnlicher Bericht zum Thema stats.stackexchange.com/a/124892/3277 .
ttnphns
In der Tat sehr ähnlich. Für mich ist diese Ansicht sehr neu und ich musste mir eine Nacht Zeit nehmen, um darüber nachzudenken. Ich habe die Regression der kleinsten Quadrate immer als Projektion betrachtet, aber unter diesem Gesichtspunkt habe ich nie versucht, eine intuitive Bedeutung für den Teil oder ich habe sie immer im indirekteren Ausdruck . X T y = X T X β(XTX)1XTy=XTXβ
Sextus Empiricus
3

Angenommen, Sie kennen die einfache lineare Regression: und ihre Lösung : β = c o v [ x i , y i ]

yi=α+βxi+εi
β=cov[xi,yi]var[xi]

Es ist leicht zu erkennen, wie dem obigen Zähler entspricht und dem Nenner zugeordnet ist. Da es sich um Matrizen handelt, ist die Reihenfolge wichtig. ist die KxK-Matrix und ist der Kx1-Vektor. Daher lautet die Reihenfolge:X ' X X ' X X ' y ( X ' X ) - 1 X ' yXyXXXXXy(XX)1Xy

Aksakal
quelle
Diese Analogie selbst sagt Ihnen jedoch nicht, ob Sie vor oder nach der Multiplikation mit der Umkehrung arbeiten.
kjetil b halvorsen
@kjetilbhalvorsen, ich habe die Reihenfolge der Operationen
Aksakal