Die geschlossene Form von w in der linearen Regression kann wie folgt geschrieben werden
Wie können wir die Rolle von in dieser Gleichung intuitiv erklären ?
Die geschlossene Form von w in der linearen Regression kann wie folgt geschrieben werden
Wie können wir die Rolle von in dieser Gleichung intuitiv erklären ?
Antworten:
Ich fand diese Beiträge besonders hilfreich:
Wie leite ich den Schätzer der kleinsten Quadrate für die multiple lineare Regression ab?
Beziehung zwischen SVD und PCA. Wie verwende ich SVD, um PCA durchzuführen?
http://www.math.miami.edu/~armstrong/210sp13/HW7notes.pdf
Wenn eine Matrix dann die Matrix eine definiert Projektion auf die Säule Raum . Intuitiv haben Sie ein überbestimmtes Gleichungssystem, möchten es aber dennoch verwenden, um eine lineare Abbildung , die die Zeilen von auf etwas in der Nähe der Werte , abbildet . Wir entscheiden uns also dafür, an das nächstgelegene Objekt zu zu senden , das als lineare Kombination Ihrer Merkmale (die Spalten von ) ausgedrückt werden kann . n × p X ( X T X ) - 1 X T X R p → R x i X y i i ∈ { 1 , … , n } X y X.X n×p X(XTX)−1XT X Rp→R xi X yi i∈{1,…,n} X y X
Was die Interpretation von , habe ich noch keine erstaunliche Antwort. Ich weiß, dass Sie sich als die Kovarianzmatrix des Datensatzes vorstellen können. ( X T X )(XTX)−1 (XTX)
quelle
Geometrischer Standpunkt
Ein geometrischer Gesichtspunkt kann wie die n-dimensionalen Vektoren und , die Punkte im n-dimensionalen Raum . Wobei sich auch in dem Unterraum , der von den Vektoren überspannt wird .X β V X β W x 1 , x 2 , ⋯ , x my Xβ V Xβ^ W x1,x2,⋯,xm
Zwei Arten von Koordinaten
Für diesen Unterraum wir uns zwei verschiedene Arten von Koordinaten vorstellen :W
Dieα nicht Koordinaten in dem regulären Sinne, sondern sie haben einen Punkt im Subraum definieren . Jedes bezieht sich auf die senkrechten Projektionen auf die Vektoren . Wenn wir Einheitsvektoren (der Einfachheit halber), können die "Koordinaten" für einen Vektor ausgedrückt werden als:W αi xi xi αi z
und die Menge aller Koordinaten als:
Zuordnung zwischen den Koordinaten undα β
Für der Ausdruck "Koordinaten" zu einer Konvertierung von Koordinaten in "Koordinaten"z=Xβ α β α
Sie können sehen, dass ausdrückt, wie viel jedes auf das andere projiziert x i x j(XTX)ij xi xj
Dann kann die geometrische Interpretation von als Karte von Vektorprojektions- "Koordinaten" zu linearen Koordinaten . α β(XTX)−1 α β
Der Ausdruck gibt die Projektions- "Koordinaten" von und verwandelt sie in .y ( X T X ) - 1 & bgr;XTy y (XTX)−1 β
Hinweis : Die Projektionskoordinaten von sind die gleichen wie die Projektionskoordinaten von da .y ( y - y ) ⊥ Xy y^ (y−y^)⊥X
quelle
Angenommen, Sie kennen die einfache lineare Regression: und ihre Lösung : β = c o v [ x i , y i ]
Es ist leicht zu erkennen, wie dem obigen Zähler entspricht und dem Nenner zugeordnet ist. Da es sich um Matrizen handelt, ist die Reihenfolge wichtig. ist die KxK-Matrix und ist der Kx1-Vektor. Daher lautet die Reihenfolge:X ' X X ' X X ' y ( X ' X ) - 1 X ' yX′y X′X X′X X′y (X′X)−1X′y
quelle