Gesetz der totalen Varianz als Satz des Pythagoras

Angenommen, und haben einen endlichen zweiten Moment. Im Hilbertraum von Zufallsvariablen mit zweitem endlichen Moment (mit dem durch definierten inneren Produkt von , ) können wir interpretieren als die Projektion von auf den Raum der Funktionen von .$X$$Y$$T_1,T_2$$E(T_1T_2)$$||T||^2=E(T^2)$$E(Y|X)$$Y$$X$

Wir wissen auch, dass das Gesetz der totalen Varianz lautet:

$$Var(Y)=E(Var(Y|X)) + Var(E(Y|X))$$

Gibt es eine Möglichkeit, dieses Gesetz im Hinblick auf das obige geometrische Bild zu interpretieren? Mir wurde gesagt, dass das Gesetz dasselbe ist wie der Satz von Pythagoras für das rechtwinklige Dreieck mit den Seiten . Ich verstehe, warum das Dreieck rechtwinklig ist, aber nicht, wie der Satz von Pythagoras das Gesetz der totalen Varianz erfasst.$Y, E(Y|X), Y-E(Y|X)$

Ich gehe davon aus, dass Sie das rechtwinklige Dreieck mit Bezug auf auszulegen ist, dass bequem und sind unkorrelierte Zufallsvariablen. Für unkorrelierte Zufallsvariablen und gilt und wenn wir und so dass , erhalten wir das Es bleibt zu zeigen, dass dasselbe ist wie Y - E [ Y ∣ X $E[Y\mid X]$$Y - E[Y\mid X]$B var ( A + B ) = var ( A ) + var ( B ) , A = Y - E [ Y ≤ X ] B = E [ Y ≤ X ] ( E [ Y ≤ X ] ) $A$$B$

$$\operatorname{var}(A+B) = \operatorname{var}(A) + \operatorname{var}(B),\tag{1}$$ $A = Y - E[Y\mid X]$$B = E[Y\mid X]$var ( Y ) = var ( Y - E [ Y ∣ X ] ) + $A+B = Y$ $$\operatorname{var}(Y) = \operatorname{var}(Y-E[Y\mid X]) + \operatorname{var}(E[Y\mid X]).\tag{2}$$ E [ var ( Y ∣ X ) $\operatorname{var}(Y-E[Y\mid X])$$E[\operatorname{var}(Y\mid X)]$ damit wir als die die Gesamtvarianzformel ist.var $(2)$ $$\operatorname{var}(Y) = E[\operatorname{var}(Y\mid X)] + \operatorname{var}(E[Y\mid X])\tag{3}$$

Es ist bekannt , dass der erwartete Wert der Zufallsvariablen ist , das, ist . Wir sehen also, dass woraus es folgt, dass , Sei die Zufallsvariable damit wir den schreiben können Aber wo E ] . E [ C ] = E [ E [ C ∣ x ] ) 2 | X = $E[Y\mid X]$E [ E [ Y ∣ X ] ] = E [ Y ] E [ A ] = E [ Y - E [ Y ∣ X ] ] = E [ Y ] - E [ E [ Y ∣ X ] ] = 0 , var ( $E[Y]$$E\biggr[E[Y\mid X]\biggr] = E[Y]$

$$E[A] = E\biggr[Y - E[Y\mid X]\biggr] = E[Y] - E\biggr[E[Y\mid X]\biggr] = 0,$$ var ( Y - E [ Y ≤ X ] ) = E [ ( Y - E [ Y ≤ X ] ) 2 ] . C ( Y - E [ Y ≤ X ] ) 2 var ( Y - E [ Y ≤ X ] ) = E [ $\operatorname{var}(A) = E[A^2]$ $$\operatorname{var}(Y-E[Y\mid X]) = E\left[(Y-E[Y\mid X])^2\right].\tag{4}$$ $C$$(Y-E[Y\mid X])^2$ $$\operatorname{var}(Y-E[Y\mid X]) = E[C].\tag{5}$$ $E[C] = E\biggr[E[C\mid X]\biggr]$$E[C\mid X] = E\biggr[(Y-E[Y\mid X])^2{\bigr\vert} X\biggr].$ Nun gegeben , daß , die bedingte Verteilung von hat Mittelwert und so Mit anderen Worten, so dass die Zufallsvariable nur . Daher ist was beim Einsetzen in zeigt Das $X = x$$Y$$E[Y\mid X=x]$ $$E\biggr[(Y-E[Y\mid X=x])^2{\bigr\vert} X=x\biggr] = \operatorname{var}(Y\mid X = x).$$ $E[C\mid X = x] = \operatorname{var}(Y\mid X = x)$ $E[C\mid X]$$\operatorname{var}(Y\mid X)$ $$E[C] = E\biggr[E[C\mid X]\biggr] = E[\operatorname{var}(Y\mid X)], \tag{6}$$ $(5)$ $$\operatorname{var}(Y-E[Y\mid X]) = E[\operatorname{var}(Y\mid X)].$$ Damit ist die rechte Seite von genau das, was wir brauchen, und wir haben die Gesamtvarianzformel bewiesen .$(2)$$(3)$

Erklärung:

Das pythagoreische Theorem besagt für alle Elemente und eines inneren Produktraums mit endlichen Normen, dass , Mit anderen Worten, für orthogonale Vektoren ist die quadrierte Länge der Summe die Summe der quadrierten Längen.$T_1$$T_2$$\langle T_1,T_2\rangle = 0$

$$||T_1+T_2||^2 = ||T_1||^2 + ||T_2||^2 \tag{1}.$$

Unser Fall:

In unserem Fall sind und Zufallsvariablen, die quadrierte Norm ist und das innere Produkt . Die Übersetzung von in eine statistische Sprache ergibt: da . Wir können dies Ihrem angegebenen Gesetz der totalen Varianz ähneln lassen, wenn wir ändern, indem wir ...T 2 = Y - E [ Y | X $T_1 = E(Y|X)$$T_2 = Y - E[Y|X]$$||T_i||^2 = E[T_i^2]$$\langle T_1,T_2\rangle = E[T_1T_2]$$(1)$ E[T1

$$E[Y^2] = E[\{E(Y|X)\}^2] + E[(Y - E[Y|X])^2] \tag{2},$$ $E[T_1T_2] = \operatorname{Cov}(T_1,T_2) = 0$$(2)$

1. Subtrahiere von beiden Seiten, so dass die linke Seite ,$(E[Y])^2$$\operatorname{Var}[Y]$

2. Beachten Sie auf der rechten Seite, dass ,$E[\{E(Y|X)\}^2] - (E[Y])^2 = \operatorname{Var}(E[Y|X])$

3. Festzustellen, dass .$E[(Y - E[Y|X])^2] = E[E\{(Y - E[Y|X])^2\}|X] = E[\operatorname{Var}(Y|X)]$

Einzelheiten zu diesen drei Aufzählungspunkten finden Sie in @ DilipSarwates Beitrag. Er erklärt das alles viel ausführlicher als ich.