Jemand hat mir diese Frage in einem Vorstellungsgespräch gestellt und ich habe geantwortet, dass ihre gemeinsame Verteilung immer Gaußsch ist. Ich dachte, dass ich immer einen bivariaten Gaußschen mit ihren Mitteln und Varianz und Kovarianzen schreiben kann. Ich frage mich, ob es einen Fall geben kann, bei dem die gemeinsame Wahrscheinlichkeit zweier Gaußscher nicht Gaußscher ist.
91
Antworten:
Die bivariate Normalverteilung ist die Ausnahme , nicht die Regel!
Es ist wichtig zu erkennen, dass "fast alle" gemeinsamen Verteilungen mit normalen Rändern nicht die bivariate Normalverteilung sind. Das heißt, die verbreitete Ansicht, dass gemeinsame Verteilungen mit normalen Rändern, die nicht die bivariaten Normalen sind, irgendwie "pathologisch" sind, ist ein bisschen falsch.
Zweifellos ist die multivariate Normale aufgrund ihrer Stabilität bei linearen Transformationen äußerst wichtig und erhält daher die Hauptaufmerksamkeit bei Anwendungen.
Beispiele
Es ist nützlich, mit einigen Beispielen zu beginnen. Die folgende Abbildung enthält Heatmaps von sechs bivariaten Verteilungen, die alle normale Standardränder haben. Die linken und mittleren in der oberen Reihe sind bivariate Normalen, die übrigen nicht (wie ersichtlich sein sollte). Sie werden weiter unten beschrieben.
Die nackten Knochen der Copulas
Abhängigkeitseigenschaften werden oft effizient mit Hilfe von Copulas analysiert . Eine bivariate Copula ist nur ein ausgefallener Name für eine Wahrscheinlichkeitsverteilung auf dem Einheitsquadrat mit einheitlichen Rändern.[0,1]2
Angenommen, ist eine bivariate Copula. Dann wissen wir unmittelbar aus dem Obigen, dass , und sind.C ( u , v ) ≥ 0 C ( u , 1 ) = u C ( 1 , v ) = vC(u,v) C(u,v)≥0 C(u,1)=u C(1,v)=v
Wir können bivariate Zufallsvariablen auf der euklidischen Ebene mit vorgegebenen Randbedingungen durch einfache Transformation einer bivariaten Copula konstruieren . Sei und vorgeschriebene Randverteilungen für ein Paar von Zufallsvariablen . Wenn eine bivariate Kopula ist, ist eine bivariate Verteilungsfunktion mit den Rändern und . Um diese letzte Tatsache zu sehen, beachten Sie einfach, dass Das gleiche Argument gilt für .F 2 ( X , Y ) C ( u , v ) F ( x , y ) = C ( F 1 ( x ) , F 2 ( y ) ) F 1 F 2F1 F2 (X,Y) C(u,v)
Für die kontinuierliche und , Sklar Theorem behauptet eine Umkehrung impliziert Eindeutigkeit. Das heißt, bei einer bivariaten Verteilung mit kontinuierlichen Rändern , ist die entsprechende Kopula eindeutig (auf dem geeigneten Bereichsraum).F1 F2 F(x,y) F1 F2
Das bivariate Normal ist außergewöhnlich
Der Satz von Sklar besagt (im Wesentlichen), dass es nur eine Copula gibt, die die bivariate Normalverteilung erzeugt. Dies ist, treffend benannt, die Gaußsche Kopula, die eine Dichte von wobei der Zähler die bivariate Normalverteilung mit der Korrelation die bei und ausgewertet wird .[0,1]2
Es gibt jedoch viele andere Copulas, und alle von ihnen ergeben eine bivariate Verteilung mit normalen Rändern, die nicht die bivariate Normalverteilung ist, wenn die im vorherigen Abschnitt beschriebene Transformation verwendet wird.
Einige Details zu den Beispielen
Es ist zu beachten, dass, wenn eine willkürliche Kopula mit der Dichte , die entsprechende bivariate Dichte mit normalen Standardrandwerten unter der Transformation istC(u,v) c(u,v) F(x,y)=C(Φ(x),Φ(y))
Beachten Sie, dass durch Anwenden der Gaußschen Kopula in der obigen Gleichung die bivariate Normaldichte wiederhergestellt wird. Aber für jede andere Wahl von werden wir nicht.c(u,v)
Die Beispiele in der Abbildung sind wie folgt aufgebaut (jeweils eine Spalte pro Zeile):
quelle
library(copula)
kcf <- khoudrajiCopula(copula2 = claytonCopula(6), shapes = fixParam(c(.4, 1), c(FALSE, TRUE)))
# force normal margins
evil <- mvdc(kcf, c("norm", "norm"), list(list(mean = 0, sd =1), list(mean = 0, sd = 1)))
contour(evil, dMvdc, xlim = c(-3, 3), ylim=c(-3, 3))
Es ist wahr, dass jedes Element eines multivariaten Normalvektors selbst normalverteilt ist und Sie ihre Mittelwerte und Varianzen ableiten können. Es ist jedoch nicht wahr, dass zwei beliebige Guassianische Zufallsvariablen gemeinsam normalverteilt sind. Hier ist ein Beispiel:
Bearbeiten: Als Reaktion auf den Konsens, dass eine Zufallsvariable, die eine Punktmasse ist, als normalverteilte Variable mit , ändere ich mein Beispiel.σ2=0
Sei und sei wobei eine Zufallsvariable ist. Das heißt, jeweils mit der Wahrscheinlichkeit .X∼N(0,1) Y=X⋅(2B−1) B Bernoulli(1/2) Y=±X 1/2
Wir zeigen zunächst, dass eine Standardnormalverteilung hat.Y Durch das Gesetz der Gesamtwahrscheinlichkeit ,
Nächster,
Wobei die normale Standard-CDF ist . Ähnlich,Φ
Deshalb,
so wird die CDF von ist , wodurch .Y Φ(⋅) Y∼N(0,1)
Nun zeigen wir, dass nicht gemeinsam normalverteilt sind.X,Y Wie @ cardinal hervorhebt, ist eine Charakterisierung der multivariaten Normalen, dass jede Linearkombination ihrer Elemente normalverteilt ist. haben diese Eigenschaft nicht, daX,Y
Daher ist eine Mischung aus einer Zufallsvariablen und einer Punktmasse bei 0, daher kann es nicht normal verteilt werden.Y+X 50/50 N(0,4)
quelle
Der folgende Beitrag enthält eine Übersicht über einen Beweis, nur um die wichtigsten Ideen zu erläutern und Ihnen den Einstieg zu erleichtern.
Lassen zwei unabhängige Gauß'sche Zufallsvariablen und lassen seinz=(Z1,Z2) x=(X1,X2)
Jedes , aber da beide lineare Kombinationen derselben unabhängigen r.vs sind, sind sie gemeinsam abhängig.Xi∼N(μi,σ2i)
Definition Ein Paar r.vs wird gesagt, daß bivariate normal verteilt iff es als Linearkombination geschrieben werden kann unabhängiger normalen r.vs .x=(X1,X2) x=Az z=(Z1,Z2)
Lemma Wenn ein bivariater Gaußscher ist, ist jede andere lineare Kombination von ihnen wiederum eine normale Zufallsvariable.x=(X1,X2)
Beweis . Trivial, übersprungen, um niemanden zu beleidigen.
Eigenschaft Wenn sind, sind sie unabhängig und umgekehrt.X1,X2
Verteilung vonX1|X2
Angenommen, sind die gleichen Gaußschen r.vs wie zuvor, aber der Einfachheit halber haben sie eine positive Varianz und einen Mittelwert von Null.X1,X2
Wenn der von überspannte Unterraum ist , lassen Sie und .S X2 XS1=ρσX1σX2X2 XS⊥1=X1−XS1
Die Zerlegung gilt mit
Dann
Zwei univariate Gaußsche Zufallsvariablen sind gemeinsam Gaußsch, wenn die Bedingungen und sind ebenfalls Gauß.X | Y Y | XX,Y X|Y Y|X
quelle