Was ist ein Beispiel für perfekte Kollinearität in Bezug auf die Entwurfsmatrix ?
Ich hätte gerne ein Beispiel, in dem nicht geschätzt werden kann, weil nicht invertierbar ist.
regression
multicollinearity
matrix
matrix-inverse
TsTeaTime
quelle
quelle
Antworten:
Hier ist ein Beispiel mit 3 Variablen, , und , die durch die Gleichung zusammenhängeny x1 x2
woε∼N(0,1)
Die besonderen Daten sind
Es ist also offensichtlich, dass ein Vielfaches von daher haben wir eine perfekte Kollinearität.x2 x1
Wir können das Modell als schreiben
wo:
Also haben wir
Nun berechnen wir die Determinante von :XX′
In R können wir dies wie folgt zeigen:
schaffen
x2
, ein Vielfaches vonx1
Erstellen y, eine lineare Kombination
x1
,x2
und eine gewisse Zufälligkeitbeobachte das
schätzt keinen Wert für den
x2
Koeffizienten:Die Modellmatrix ist:X
So istXX′
die nicht invertierbar ist, wie durch gezeigt
Oder:
quelle
Hier sind einige recht häufige Szenarien aufgeführt, die eine perfekte Multikollinearität erzeugen, dh Situationen, in denen die Spalten der Entwurfsmatrix linear abhängig sind. Man erinnere sich an die lineare Algebra, dass dies bedeutet, dass es eine lineare Kombination von Spalten der Entwurfsmatrix gibt (deren Koeffizienten nicht alle Null sind), die gleich Null ist. Ich habe einige praktische Beispiele beigefügt, um zu erklären, warum diese Falle so oft auftritt - ich bin fast allen begegnet!
Eine Variable ist ein Vielfaches einer anderen , unabhängig davon, ob es einen Intercept-Term gibt: Vielleicht, weil Sie dieselbe Variable zweimal mit unterschiedlichen Einheiten aufgezeichnet haben (z. B. "Länge in Zentimetern" ist genau 100-mal größer als "Länge in Metern") oder weil Sie haben eine Variable einmal als Rohzahl und einmal als Anteil oder Prozentsatz aufgezeichnet, wenn der Nenner festgelegt ist (z. B. "Fläche der kolonisierten Petrischale" und "Prozentsatz der kolonisierten Petrischale" sind exakte Vielfache voneinander, wenn die Fläche festgelegt ist von jeder Petrischale ist die gleiche). Wir haben Kollinearität, weil wenn wobei und Variablen sind (Spalten Ihrer Entwurfsmatrix) und eine Skalarkonstante ist, w x a 1 ( → w ) - a ( → x )wi=axi w x a 1(w⃗ )−a(x⃗ ) ist eine lineare Kombination von Variablen, die gleich Null ist.
Es gibt einen Intercept-Term und eine Variable unterscheidet sich von einer anderen durch eine Konstante : Dies geschieht, wenn Sie eine Variable ( ) und sowohl das rohe als auch das zentrierte in Ihre Regression . Dies ist auch der Fall, wenn Ihre Variablen in verschiedenen Einheitensystemen gemessen werden, die sich durch eine Konstante unterscheiden, z. B. wenn "Temperatur in Kelvin" und als "Temperatur in ° C" ist, dann ist . Betrachten wir den Intercept-Term als eine Variable, die immer (dargestellt als eine Spalte von Einsen, , in der Entwurfsmatrix), dann gilt für eine Konstante x w w x w i = x i + 273,15 1 → 1 n w i = x i + k k 1 ( → w ) - 1 ( → x ) - k ( → 1 n ) w x 1wi=xi−x¯ x w w x wi=xi+273.15 1 1⃗ n wi=xi+k k bedeutet, dass eine lineare Kombination der Spalten , und der Entwurfsmatrix ist, die gleich Null ist.1(w⃗ )−1(x⃗ )−k(1⃗ n) w x 1
Es gibt einen Intercept-Term und eine Variable ist durch eine affine Transformation einer anderen gegeben : dh Sie haben Variablen und , die durch wobei und Konstanten sind. Dies geschieht beispielsweise, wenn Sie eine Variable als und sowohl rohe als auch standardisierte Variablen in Ihre Regression . Es passiert auch, wenn Sie als "Temperatur in ° F" und als "Temperatur in ° C" , da diese Einheitensysteme keine gemeinsame Null haben, sondern durchx w i = a x i + b a b z i = x i - ˉ xw x wi=axi+b a b xzwxwi=1,8xi+32b$einen$wiixiwi=einxi+b1( → w )-a( → x )-b( → 1 n)= → 0 a=1b=0zi=xi−x¯sx x z w x wi=1.8xi+32 . Oder nehmen wir in einem Geschäftskontext an, dass für jede Bestellung feste Kosten (z. B. für die Lieferung) sowie Kosten pro verkaufter Einheit anfallen. dann, wenn die Kosten der Bestellung und die Anzahl der bestellten Einheiten sind, haben wir . Die lineare Kombination von Interesse ist . Beachten Sie, dass, wenn , (3) (2) als Sonderfall enthält; wenn , enthält (3) (1) als Sonderfall.b $a $wi i xi wi=axi+b 1(w⃗ )−a(x⃗ )−b(1⃗ n)=0⃗ a=1 b=0
Es gibt einen Intercept-Term und die Summe mehrerer Variablen ist fest (z. B. in der berühmten "Dummy-Variablenfalle") : Wenn Sie beispielsweise "Prozentsatz zufriedener Kunden", "Prozentsatz unzufriedener Kunden" und "Prozentsatz nicht zufriedener Kunden" haben noch nicht unzufrieden ", dann summieren sich diese drei Variablen immer (mit Ausnahme des Rundungsfehlers) auf 100. Eine dieser Variablen - oder alternativ der Intercept-Term - muss aus der Regression entfernt werden, um Kollinearität zu verhindern. Die "Dummy-Variablenfalle" tritt auf, wenn Sie Indikatorvariablen (häufiger, aber weniger nützlich als "Dummies" bezeichnet) für jede mögliche Ebene einer kategorialen Variablen verwenden. Nehmen wir zum Beispiel an, Vasen werden in roten, grünen oder blauen Farbschemata hergestellt. Wenn Sie die kategoriale Variable aufgezeichnet haben "
red
green
undblue
wären binäre Variablen, gespeichert wie1
für "ja" und0
für "nein"), dann wäre für jede Vase nur eine der Variablen eine Eins, und daherred + green + blue = 1
. Da es für den Intercept-Term einen Vektor von Einsen gibt, ist dies die Linearkombination1(red) + 1(green) + 1(blue) - 1(1) = 0
. Die übliche Abhilfe besteht darin, entweder den Abschnitt oder einen der Indikatoren (z. B. Auslassenred
) fallen zu lassen, der zu einer Grundlinie oder einem Referenzniveau wird. In diesem Fall würde der Regressionskoeffizient fürgreen
die Änderung der mittleren Antwort angeben, die mit dem Umschalten von einer roten auf eine grüne Vase verbunden ist, wobei andere erklärende Variablen konstant bleiben.Es gibt mindestens zwei Untergruppen von Variablen mit jeweils einer festen Summe , unabhängig davon, ob ein Intercept-Term vorliegt: Angenommen, die Vasen in (4) wurden in drei Größen hergestellt, und die kategoriale Variable für die Größe wurde als drei zusätzliche Indikatorvariablen gespeichert . Wir hättenu,v,w,x ui+vi=k1 xi+yi=k2 k2(u⃗ )+k2(v⃗ )−k1(w⃗ )−k1(x⃗ )=0⃗
large + medium + small = 1
. Dann haben wir die lineare Kombination1(large) + 1(medium) + 1(small) - 1(red) - 1(green) - 1(blue) = 0
, auch wenn es keinen Intercept-Term gibt. Die beiden Teilmengen müssen nicht dieselbe Summe haben, z. B. wenn wir erklärende Variablen so dass jedes und dann .u i + v i = k 1 x i + y i = k 2 k 2 ( → U ) + k 2 ( → v ) - k 1 ( → w ) - k 1 ( → x ) = → 0Eine Variable ist als Linearkombination mehrerer anderer Variablen definiert : Wenn Sie beispielsweise die Länge , die Breite und den Umfang jedes Rechtecks , ist sodass wir die Linearkombination . Ein Beispiel mit einem Abfangbegriff: Angenommen, ein Versandhandel hat zwei Produktlinien, und wir erfassen, dass die Bestellung aus des ersten Produkts zu Stückkosten und des zweiten Produkts zu Stückkosten mit besteht Versandkostenpauschale . Wenn wir auch die Auftragskosten einbeziehenw p p i = 2 l i + 2 w i 1 ( → p ) - 2 ( → l ) - 2 ( → w ) = → 0 i u i $ a v i $ b $ c $ x x i = a u i + b v i + c 1 ( →l w p pi=2li+2wi 1(p⃗ )−2(l⃗ )−2(w⃗ )=0⃗ i ui $a vi $b $c $x als erklärende Variable, dann ist und so . Dies ist eine offensichtliche Verallgemeinerung von (3). Es gibt uns auch eine andere Denkweise über (4): Wenn wir alle kennen, die aus einer Teilmenge von Variablen bestehen, deren Summe festgelegt ist, dann ist die verbleibende ihre Ergänzung und kann als lineare Kombination von ihnen und ihrer Summe ausgedrückt werden . Wenn wir wissen, dass 50% der Kunden zufrieden und 20% unzufrieden waren, dürfen 100% - 50% - 20% = 30% weder zufrieden noch unzufrieden sein. Wenn wir wissen, dass die Vase nicht rot ( ) und grün ( ) ist, wissen wir, dass sie nicht blau ( ) ist.xi=aui+bvi+c 1(x⃗ )−a(u⃗ )−b(v⃗ )−c(1⃗ n)=0⃗
red=0
green=1
blue = 1(1) - 1(red) - 1(green) = 1 - 0 - 1 = 0
Eine Variable ist konstant und Null , unabhängig davon, ob es einen Intercept-Term gibt: In einer Beobachtungsstudie ist eine Variable konstant, wenn Ihre Stichprobe keine ausreichende (beliebige!) Variation aufweist. Es kann Abweichungen in der Grundgesamtheit geben, die in Ihrer Stichprobe nicht erfasst werden, z. B. wenn ein sehr häufiger Modalwert vorliegt: Möglicherweise ist Ihre Stichprobengröße zu klein und es ist daher unwahrscheinlich, dass Werte enthalten sind, die vom Modus abweichen, oder Ihre Messungen wurden durchgeführt ungenügend genau, um kleine Abweichungen vom Modus zu erkennen. Alternativ kann es theoretische Gründe für die mangelnde Variation geben, insbesondere wenn Sie eine Teilpopulation untersuchen. Bei einer Studie über Neubauten in Los Angeles wäre es nicht verwunderlich, dass jeder Datenpunkt überx 1(x⃗ ) 0⃗
AgeOfProperty = 0
und verfügtState = California
! In einer experimentellen Studie haben Sie möglicherweise eine unabhängige Variable gemessen, die sich unter experimenteller Kontrolle befindet. Sollte eine Ihrer erklärenden Variablen sowohl konstant als auch null sein, haben wir sofort, dass die Linearkombination (mit dem Koeffizienten null für alle anderen Variablen) .1 ( → x ) → 0Es gibt einen Intercept-Term und mindestens eine Variable ist konstant : Wenn konstant ist, so dass jedes , dann ist die Linearkombination .x i = k ≤ 0 1 ( → x ) - k ( → 1 n ) = → 0x xi=k≠0 1(x⃗ )−k(1⃗ n)=0⃗
Mindestens zwei Variablen sind konstant , unabhängig davon, ob es einen Intercept-Term gibt: Wenn jedes und , dann ist die Linearkombination .wi=k1≠0 xi=k2≠0 k2( w⃗ ) - k1( x⃗ ) = 0⃗
Die Anzahl der Spalten der Entwurfsmatrix übersteigt die Anzahl der Zeilenk n : Selbst wenn keine konzeptionelle Beziehung zwischen Ihren Variablen besteht, ist es mathematisch erforderlich, dass die Spalten Ihrer Entwurfsmatrix linear abhängig sind, wenn . Es ist einfach nicht möglich, linear unabhängige Vektoren in einem Raum mit einer Anzahl von Dimensionen kleiner als : Zum Beispiel, während Sie zwei unabhängige Vektoren auf ein Blatt Papier zeichnen können (eine zweidimensionale Ebene,k > n k k R2 ) Jeder weitere Vektor, der auf der Seite gezeichnet wird, muss innerhalb ihres Bereichs liegen und daher eine lineare Kombination von ihnen sein. Beachten Sie, dass ein Intercept-Term eine Spalte mit Einsen zur Entwurfsmatrix beiträgt und somit als eine Ihrer Spalten zählt. (Dieses Szenario wird oft als "großes , kleines " -Problem bezeichnet. Siehe auch diese verwandte CV-Frage .)k p n
Datenbeispiele mit R-Code
Jedes Beispiel gibt eine Entwurfsmatrix , die Matrix (dies ist immer quadratisch und symmetrisch) und . Beachten Sie, dass wir nicht schätzen können , wenn singulär ist (Null-Determinante, daher nicht invertierbar) . Die Bedingung, dass nicht singulär ist, entspricht der Bedingung, dass den vollen Rang hat, so dass seine Spalten linear unabhängig sind: siehe diese Math SE-Frage oder diese und ihre Umkehrung .X X′X det ( X′X) X′X β^= ( X′X)- 1X′y X′X X
(1) Eine Spalte ist ein Vielfaches einer anderen
(2) Intercept-Term und eine Variable unterscheiden sich durch Konstante von der anderen
(3) Intercept-Term und eine Variable ist die affine Transformation einer anderen
(4) Der Intercept-Term und die Summe mehrerer Variablen sind festgelegt
(4a) Abfangterm mit variabler Dummy-Falle
(5) Zwei Teilmengen von Variablen mit fester Summe
(6) Eine Variable ist eine lineare Kombination von anderen
(7) Eine Variable ist konstant und Null
(8) Abfangterm und eine konstante Variable
(9) Zwei konstante Variablen
(10)k > n
quelle
Einige triviale Beispiele zur Unterstützung der Intuition:
Es gibt eine Vielzahl von Möglichkeiten, sodass eine Datenspalte eine lineare Funktion Ihrer anderen Daten ist. Einige von ihnen sind offensichtlich (z. B. Meter im Vergleich zu Zentimetern), während andere subtiler sein können (z. B. Alter und Schuljahre für jüngere Kinder).
Anmerkungen zur Schreibweise: bezeichnen die erste Spalte von , die zweite Spalte usw. ... und bezeichnet einen Vektor von Einsen, der in der Entwurfsmatrix X enthalten ist wenn Sie eine Konstante in Ihre Regression einbeziehen.x1 X x2 1
quelle