Bei Zufallsvariablen mit der Wahrscheinlichkeitsverteilung ist die Korrelationsmatrix positiv semidefinit, dh ihre Eigenwerte sind positiv oder Null.
Ich interessiere mich für die Bedingungen auf , die notwendig sind und / oder ausreichend für haben Null Eigenwerte. Eine ausreichende Bedingung ist beispielsweise, dass die Zufallsvariablen nicht unabhängig sind: für einige reelle Zahlen . Wenn beispielsweise , dann ist , ein Eigenvektor von mit einem Eigenwert von Null. Wenn wir unabhängige lineare Bedingungen für die dieses Typs haben, würde dies Null-Eigenwerte implizieren .
Es gibt mindestens eine zusätzliche (aber triviale) Möglichkeit, wenn für einige (dh ), da darin Fall hat eine Spalte und eine Zeile mit Nullen: . Da es nicht wirklich interessant ist, gehe ich davon aus, dass die Wahrscheinlichkeitsverteilung nicht von dieser Form ist.a P ( X 1 , … , X n ) ∝ δ ( X a - E [ X a ] ) C i j C i a = C a i = 0 ,
Meine Frage ist: Sind lineare Einschränkungen die einzige Möglichkeit, Null-Eigenwerte zu induzieren (wenn wir die oben angegebene triviale Ausnahme verbieten), oder können nichtlineare Einschränkungen für die Zufallsvariablen auch Null-Eigenwerte von erzeugen ?
quelle
Antworten:
Vielleicht können wir durch Vereinfachung der Notation die wesentlichen Ideen hervorheben. Es stellt sich heraus, dass wir keine Erwartungen oder komplizierten Formeln benötigen, da alles rein algebraisch ist.
Die algebraische Natur der mathematischen Objekte
Die Frage betrifft Beziehungen zwischen (1) der Kovarianzmatrix einer endlichen Menge von Zufallsvariablen und (2) linearen Beziehungen zwischen diesen Variablen, die als Vektoren betrachtet werden .X1,…,Xn
Der fragliche Vektorraum ist die Menge aller Zufallsvariablen mit endlicher Varianz (auf einem gegebenen Wahrscheinlichkeitsraum ) modulo der Unterraum von fast sicher konstanten Variablen, bezeichnet als (Das heißt, wir betrachten zwei Zufallsvariablen und als denselben Vektor, wenn keine Wahrscheinlichkeit besteht, dass von seiner Erwartung abweicht.) Wir haben es nur mit dem endlichdimensionalen Vektor zu tun Der vom erzeugte Raum macht dies eher zu einem algebraischen als zu einem analytischen Problem.L 2 ( Ω , P ) / R . X Y X - Y V X i ,(Ω,P) L2(Ω,P)/R. X Y X−Y V Xi,
Was wir über Abweichungen wissen müssen
Die Varianz ist eine skalarwertige Funktion mit der Eigenschaft, dass für alle VektorenQ ( a X ) = ein 2 Q ( X ) X .Q Q(aX)=a2Q(X) X.
Die Varianz ist nicht entartet.
Der zweite bedarf einer Erklärung. bestimmt ein "Punktprodukt", das eine symmetrische bilineare Form ist, die durch gegeben istQ
(Dies ist natürlich nichts anderes als die Kovarianz der Variablen und ) Die Vektoren und sind orthogonal, wenn ihr Punktprodukt ist Das orthogonale Komplement einer beliebigen Menge von Vektoren besteht aus allen orthogonalen Vektoren zu jedem Element von geschriebenY . X Y 0. A ⊂ V A ,X Y. X Y 0. A⊂V A,
Es ist eindeutig ein Vektorraum. Wenn , ist nicht entartet.Q.V0={0} Q
Lassen Sie mich beweisen, dass die Varianz tatsächlich nicht entartet ist, auch wenn dies offensichtlich erscheint. Angenommen, ist ein Element ungleich Null von Dies bedeutet für allegleichwertigV 0 . X ≤ Y = 0 Y ≤ V ;X V0. X⋅Y=0 Y∈V;
für alle Vektoren Wenn man ergibt sichY = X.Y. Y=X
und somit ist Wir wissen jedoch (vielleicht unter Verwendung von Chebyshevs Ungleichung), dass die einzigen Zufallsvariablen mit einer Varianz von Null fast sicher konstant sind, was sie mit dem Nullvektor in QED identifiziert .V ,Q(X)=0. V,
Die Fragen interpretieren
Zurück zu den Fragen: In der vorhergehenden Notation ist die Kovarianzmatrix der Zufallsvariablen nur ein reguläres Array aller ihrer Punktprodukte.
Es gibt eine gute Möglichkeit, über nachzudenken : Es definiert eine lineare Transformation für auf die übliche Weise, indem ein beliebiger Vektor in den Vektor dessen -Komponente durch die Matrixmultiplikationsregel gegeben istR n x = ( x 1 , … , x n ) ∈ R n T ( x ) = y = ( y 1 , … , x n ) i thT Rn x=(x1,…,xn)∈Rn T(x)=y=(y1,…,xn) ith
Der Kern dieser linearen Transformation ist der Unterraum, den er an Null sendet:
Die vorstehende Gleichung impliziert, dass wenn für jedesix∈Ker(T), i
Da dies für jedes gilt es für alle vom aufgespannten Vektoren : nämlich selbst. Wenn also der durch gegebene Vektor in Da die Varianz nicht entartet ist, bedeutet dies Das heißt, beschreibt eine lineare Abhängigkeit zwischen den ursprünglichen Zufallsvariablen.i, Xi V x∈Ker(T), ∑jxjXj V0. ∑jxjXj=0. x n
Sie können leicht überprüfen, ob diese Argumentationskette umkehrbar ist:
(Denken Sie daran, dass diese Anweisung das als bis zu einer konstanten Ortsverschiebung definiert betrachtet, als Elemente von anstatt als as nur Zufallsvariablen.)Xj L2(Ω,P)/R
Schließlich ist per Definition ein Eigenwert von ein beliebiger Skalar für den ein Vektor ungleich Null mit Wenn ein Eigenwert ist, ist der Raum der zugehörigen Eigenvektoren (offensichtlich) der Kern vonT λ x T(x)=λx. λ=0 T.
Zusammenfassung
Wir haben die Antwort auf die Fragen gefunden: Die Menge der linearen Abhängigkeiten der Zufallsvariablen, qua Elemente von entspricht eins zu eins mit der Kern ihrer Kovarianzmatrix Dies liegt daran, dass die Varianz eine nicht entartete quadratische Form ist. Der Kernel ist auch der Eigenraum, der dem Null-Eigenwert zugeordnet ist (oder nur der Null-Unterraum, wenn kein Null-Eigenwert vorhanden ist).L2(Ω,P)/R, T.
Referenz
Ich habe die Notation und einen Teil der Sprache von Kapitel IV in weitgehend übernommen
Jean-Pierre Serre, Ein Kurs in Arithmetik. Springer-Verlag 1973.
quelle
Die lineare Unabhängigkeit ist nicht nur ausreichend, sondern auch eine notwendige Bedingung
Um zu zeigen, dass die Varianz-Kovarianz-Matrix genau dann Eigenwerte gleich Null aufweist, wenn die Variablen nicht linear unabhängig sind, muss nur gezeigt werden, dass "wenn die Matrix Eigenwerte gleich Null hat, die Variablen nicht linear unabhängig sind".
Wenn Sie einen Null-Eigenwert für gibt es eine lineare Kombination (definiert durch den Eigenvektor ).Cij=Cov(Xi,Xj) v
so dass
was bedeutet , dass eine Konstante sein muss und somit die Variablen haben , summieren sich zu einer konstanten und entweder Konstanten selbst (die triviale Fall) oder nicht linear unabhängig sind .Y Xi
- Die erste Zeile in der Gleichung mit ist auf die Eigenschaft der KovarianzCov(Y,Y) Cov(aU+bV,cW+dX)=acCov(U,W)+bcCov(V,W)+adCov(U,X)+bdCov(V,X)
- Der Schritt von der zweiten zur dritten Zeile beruht auf der Eigenschaft eines Null-Eigenwerts∑j=1nvjCij=0
Nichtlineare Einschränkungen
Da lineare Bedingungen eine notwendige Bedingung sind (nicht nur ausreichend), sind nichtlineare Bedingungen nur dann relevant, wenn sie indirekt eine (notwendige) lineare Bedingung implizieren.
Tatsächlich besteht eine direkte Entsprechung zwischen den mit dem Null-Eigenwert verbundenen Eigenvektoren und den linearen Einschränkungen.
Daher müssen nichtlineare Einschränkungen, die zu einem Eigenwert von Null führen, zusammen eine lineare Einschränkung erzeugen.
Wie können nichtlineare Einschränkungen zu linearen Einschränkungen führen?
Ihr Beispiel in den Kommentaren kann dies intuitiv zeigen, wie nichtlineare Einschränkungen durch Umkehren der Ableitung zu linearen Einschränkungen führen können. Die folgenden nichtlinearen Einschränkungen
kann auf reduziert werden
Sie könnten dies umkehren . Angenommen, Sie haben nichtlineare plus lineare Einschränkungen, dann ist es nicht ungewöhnlich, sich vorzustellen, wie wir eine der linearen Einschränkungen durch eine nichtlineare Einschränkung ersetzen können, indem wir die linearen Einschränkungen in die nichtlinearen Einschränkungen füllen. Wenn wir beispielsweise und in der nichtlinearen Form , können Sie eine andere Beziehung . Und wenn Sie und multiplizieren, erhalten Sie .a=d b=−c a2+b2=1 ad−bc=1 a=d c=−b ac=−bd
quelle
Angenommen, hat einen Eigenvektor mit dem entsprechenden Eigenwert , dann ist . Somit ist aufgrund der Ungleichung von Chebyshev fast sicher konstant und gleich . Das heißt, jeder Null-Eigenwert entspricht einer linearen Beschränkung, nämlich . Sonderfälle müssen nicht berücksichtigt werden.v 0 var ( v T X ) = v T C v = 0 v T X v T E [ X ] v T X = v T E [ X ]C v 0 var(vTX)=vTCv=0 vTX vTE[X] vTX=vTE[X]
Wir schließen daraus:
"Sind lineare Bedingungen der einzige Weg, um Null-Eigenwerte zu induzieren [?]"
Ja.
"Können nichtlineare Einschränkungen der Zufallsvariablen auch Null-Eigenwerte von C erzeugen?"
Ja, wenn sie lineare Einschränkungen implizieren.
quelle
Der Kovarianz-Marix von ist symmetrisch, sodass Sie ihn als mit den Eigenwerten in der Diagonalmatrix diagnostizieren könnenWenn dies als umgeschrieben wird, ist rhs die Kovarianzmatrix von , sodass Null-Eigenwerte auf den lhs linearen Kombinationen von mit entarteten Verteilungen entsprechen.X C = Q Λ Q T Λ . Λ = Q T C Q Q T X X.C X C=QΛQT Λ. Λ=QTCQ QTX X
quelle