Wie kann man testen, ob eine Kreuzkovarianzmatrix ungleich Null ist?

11

Der Hintergrund meiner Studie :

In einem Gibbs-Sampling , wo wir Probe X (die Variablen von Interesse) und Y aus P(X|Y) und P(Y|X) ist, wobei X und Y sind k -dimensionalen Zufallsvektoren. Wir wissen, dass der Prozess normalerweise in zwei Phasen unterteilt ist:

  1. Einbrennzeit, in der alle Proben verworfen werden. Bezeichnen Sie die Proben als X1Xt und Y1Yt .
  2. "After-Burn-In" -Periode, in der wir die Proben X¯=1ki=1kXt+ials unser gewünschtes Endergebnis.

Die Proben in der "Nachbrenn" -Sequenz Xt+1Xt+k sind jedoch nicht unabhängig verteilt. Wenn ich also die Varianz des Endergebnisses untersuchen möchte, wird es

Var[X¯]=Var[i=1kXt+i]=1k2(i=1kVar[Xt+i]+i=1k1j=i+1kCov[Xt+i,Xt+j])

Hier ist der Term eine k × k -Kreuzkovarianzmatrix, die für jedes ( i , j ) mit i < j gilt .Cov[Xt+i,Xt+j]k×k(i,j)i<j

Zum Beispiel habe ich

Xt+1=(1,2,1)Xt+2=(1,0,2)Xt+3=(1,0,0)Xt+4=(5,0,1)

dann könnte ich die Kovarianzmatrix mit schätzenCov[Xt+i,Xt+i+1]

13i=13(Xt+iμt+i)(Xt+i+1μt+i+1)

Jetzt interessiert mich, ob die resultierende Schätzung signifikant ungleich Null ist, so dass ich sie in meine Varianzschätzung von .Var[X¯]

Hier kommen meine Fragen :

  1. Wir probieren aus P ( X t + i | Y t + i ) . Da sich Y t + i ändert, denke ich, dass X t + i und X t + i + 1 nicht aus derselben Verteilung stammen, also ist Cov [ X t + i , X t + j ] nicht dasselbe wie Cov [ X tXt+iP(Xt+i|Yt+i)Yt+iXt+iXt+i+1Cov[Xt+i,Xt+j]. Ist diese Aussage richtig?Cov[Xt+i,Xt+i]
  2. Angenommen, ich habe genügend Daten, um (benachbarte Stichproben in der Sequenz) zu schätzen. Gibt es eine Möglichkeit zu testen, ob die Kovarianzmatrix signifikant eine Nicht-Null-Matrix ist? Im Großen und Ganzen interessiert mich ein Indikator, der mich zu einigen aussagekräftigen Kreuzkovarianzmatrizen führt, die in meine endgültige Varianzschätzung einbezogen werden sollten.Cov[Xt+i,Xt+i+1]
TomHall
quelle
4
Eigentlich sieht das jetzt nach einer ziemlich guten Frage aus; Ich denke, einige andere Leute werden besser in der Lage sein, gute Antworten zu geben als ich, deshalb möchte ich dies fördern (ein Kopfgeld darauf setzen), wenn es in Kürze förderfähig wird. [Kurze Antworten: 1. Diese beiden Kovarianzen sind unterschiedlich. 2. Sie müssen nicht testen, ob aufeinanderfolgende Variablen korreliert sind (in allen bis auf die trivialsten Fälle; der Algorithmus generiert abhängige Variablen) - interessanter, um die Korrelation zu messen, als sie zu testen;] ... if Gute Antworten werden nicht
angezeigt.
4
Es scheint, dass Ihre Frage viel breiter ist als Ihre Titelfrage. Speziell für Ihre Titelfrage gibt es den Bartlett-Test der Sphärizität, mit dem getestet werden kann, ob eine Stichproben-Kovarianzmatrix diagonal ist. Sie müssten es wahrscheinlich an Ihr Kreuzkovarianzszenario anpassen (Ihre "Kovarianzmatrix" ist eigentlich keine echte Kovarianzmatrix, es ist eine Kreuzkovarianzmatrix; es ist ein nicht diagonaler Block der vollständigen Kovarianzmatrix von X_t und X_ { t + 1} zusammen). CC zu @Glen_b.
Amöbe sagt Reinstate Monica
2
Ich würde hinzufügen, dass Kovarianzen dazu neigen, mehr oder weniger geometrisch zu zerfallen (zunehmend, wenn Sie sich weiter auseinander bewegen); Werte, die zeitlich weit voneinander entfernt sind, weisen tendenziell eine sehr geringe Korrelation auf ( nicht Null, aber weitgehend ignorierbar), während Werte, die nahe beieinander liegen, manchmal sehr abhängig sein können.
Glen_b -Reinstate Monica
1
@ Tom 1. Was passiert bei stationären Serien mit sehr weit entfernten Verzögerungen (4 ist nicht entfernt!) Trotzdem mit dem ACF? 2. Sie wissen etwas über die Funktionsweise von aus MCMC generierten Werten, das Sie nicht über beliebige Zeitreihen sagen können ... sie sind Markovian . Sie werden feststellen, dass meine früheren Kommentare nicht behaupten, dass die nächsten Verzögerungen einen geometrischen Zerfall aufweisen müssen (z. B. habe ich nicht gesagt, dass es unmöglich ist, eine höhere Korrelation bei Verzögerung 4 als 3 zu sehen). Sie werden immer noch (wenn bestimmte Bedingungen gelten) dazu neigen, im ACF geometrisch zu zerfallen, wenn Sie sich weit auseinander bewegen.
Glen_b -Reinstate Monica
2
Wenn Ihre Stichprobenperiode so kurz ist, dass Sie keine hochgenauen Schätzungen der Kreuzkovarianz haben, müssen Sie sich möglicherweise nur mit der Tatsache befassen, dass Ihre Schätzungen der Kreuzkovarianzterme einen größeren Standardfehler aufweisen. Nach meinem derzeitigen Verständnis werde ich meinen Einwand gegen das Testen der Korrelationen noch stärker bekräftigen. Das Testen von Hypothesen auf Korrelationen zwischen Null und Nicht-Null geht hier nicht auf Ihr Problem ein.
Glen_b -Reinstate Monica

Antworten:

1
  1. Wir probieren aus P ( X t + i | Y t + i ) . Da sich Y t + i ändert, denke ich, dass X t + i und X t + i + 1 nicht aus derselben Verteilung stammen [...]Xt+iP(Xt+i|Yt+i)Yt+iXt+iXt+i+1

Sie verwechseln hier bedingte und bedingungslose Verteilungen, siehe auch meine nächste Bemerkung. Bedingt durch und Y t + i + 1 = y 2 , P ( X t + i | Y t + i = y 1 ) P ( X t + i + 1 | Y t + i + 1 = y 2Yt+i=y1Yt+i+1=y2 . Der gesamte Sinn der Konstruktion Ihres Gibbs-Samplers besteht jedoch darin, aus den stationären Verteilungen von X und Y abzutasten . Wenn Sie Ihre Kette lange genug laufen lassen und { Y t } der stationären Verteilung folgt, können Siegrobgesagt P ( X t ) = Y P ( X t | Y t ) d P ( Y t ) sagen ) , was bedeutet, dass die bedingungslose Verteilung von X tP(Xt+i|Yt+i=y1)P(Xt+i+1|Yt+i+1=y2)XY{Yt}

P(Xt)=YP(Xt|Yt)dP(Yt),
Xtist auch unveränderlich. Mit anderen Worten, wenn und wir zu den stationären Verteilungen konvergieren, ist P ( X t + i | Y t + i ) = P ( X t + i + 1 | Y t + i + 1 ) , da Y t + i und Y t + i + 1 werden asymptotisch aus der (gleichen!) stationären Verteilung P (tP(Xt+i|Yt+i)=P(Xt+i+1|Yt+i+1)Yt+iYt+i+1P(Yt)Yt+i=y1Yt+i+1=y2t

Cov[Xt+i,Xt+j]Cov[Xt+i,Xt+i]

Xt+1XtXtXt+1 have the same stationary distribution. I know this may be confusing, but bear with me. Define Yt=0.8Yt1+εt with εtiidN(0,1). By iterated substitution, one can show that Yt=i=0t0.8iεti, and since (infinite) sums of normals are still normal, it holds that Var(Yt)=i=0t0.82i=110.82 and so that YtiidN(0,110.82). Clearly, Yt and Yt+1 will still be correlated, but they will also come from the same distribution (Yt+1Yt). A similar situation holds for your Xt.

  1. Suppose I have enough data to estimate Cov[Xt+i,Xt+i+1] (neighboring samples in the sequence), is there any way to test if the covariance matrix is significantly a non-zero matrix? Broadly speaking, I am interested in an indicator which guides me to some meaningful cross-covariance matrices that should be included in my final variance estimation.

Well, if you had infinitely many observations, they will all be significant eventually. Clearly, you cannot do this in practice, but there are ways of 'chopping off' the expansion after some terms, see the accepted excellent answer here. Basically, you define a kernel k() which decays to 0 and assigns weights to the first lT covariance matrices that you could compute. If you want to choose lT in a principled way, you will have to dig a bit into the literature, but the post I linked gives you some good references to do exactly that.

Jeremias K
quelle