Varianz linearer Kombinationen korrelierter Zufallsvariablen

Ich verstehe den Beweis, dass aber ich verstehe nicht, wie man die Verallgemeinerung auf beliebige lineare Kombinationen beweist.

$$Var(aX+bY) = a^2Var(X) +b^2Var(Y) + 2abCov(X,Y),$$

Sei Skalare für also haben wir einen Vektor und ist ein Vektor korrelierter Zufallsvariablen. Dann ist Wie beweisen wir das? Ich stelle mir vor, es gibt Beweise in der Summationsnotation und in der Vektornotation?$a_i$$i\in {1,\dots ,n}$$\underline a$$\underline X = X_i,\dots ,X_n$

$$Var(a_1X_1 + \dots a_nX_n) = \sum_{i=1}^n a_i^2 \sigma_i^2 + 2 \sum_{i=1}^n \sum_{j>i}^n a_i a_j \text{ Cov}(X_i,X_j)$$

Dies ist nur eine Übung zur Anwendung grundlegender Eigenschaften von Summen, der Linearität der Erwartung und der Definition von Varianz und Kovarianz

Beachten Sie, dass in diesem letzten Schritt haben wir auchcov(Xi,Xi)als Varianz var(Xidentifiziert

$$\begin{align} \operatorname{var}\left(\sum_{i=1}^n a_i X_i\right) &= E\left[\left(\sum_{i=1}^n a_i X_i\right)^2\right] - \left(E\left[\sum_{i=1}^n a_i X_i\right]\right)^2 &\scriptstyle{\text{one definition of variance}}\\ &= E\left[\sum_{i=1}^n\sum_{j=1}^n a_i a_j X_iX_j\right] - \left(E\left[\sum_{i=1}^n a_i X_i\right]\right)^2 &\scriptstyle{\text{basic properties of sums}}\\ &= \sum_{i=1}^n\sum_{j=1}^n a_i a_j E[X_iX_j] - \left(\sum_{i=1}^n a_i E[X_i]\right)^2 &\scriptstyle{\text{linearity of expectation}}\\ &= \sum_{i=1}^n\sum_{j=1}^n a_i a_j E[X_iX_j] - \sum_{i=1}^n \sum_{j=1}^n a_ia_j E[X_i]E[X_j] &\scriptstyle{\text{basic properties of sums}}\\ &= \sum_{i=1}^n\sum_{j=1}^n a_i a_j \left(E[X_iX_j] - E[X_i]E[X_j]\right)&\scriptstyle{\text{combine the sums}}\\ &= \sum_{i=1}^n\sum_{j=1}^n a_i a_j\operatorname{cov}(X_i,X_j) &\scriptstyle{\text{apply a definition of covariance}}\\ &= \sum_{i=1}^n a_i^2\operatorname{var}(X_i) + 2\sum_{i=1}^n \sum_{j\colon j > i}^n a_ia_j\operatorname{cov}(X_i,X_j) &\scriptstyle{\text{re-arrange sum}}\\ \end{align}$$ $\operatorname{cov}(X_i,X_i)$ .$\operatorname{var}(X_i)$

Sie können dies tatsächlich durch Rekursion ohne Verwendung von Matrizen tun:

Nehmen Sie das Ergebnis für und lassen Sie Y 1 = a 2 X 2 + Y 2 .$\text{Var}(a_1X_1+Y_1)$$Y_1=a_2X_2+Y_2$

$\text{Var}(a_1X_1+Y_1)$

$\qquad=a_1^2\text{Var}(X_1)+2a_1\text{Cov}(X_1,Y_1)+\text{Var}(Y_1)$

$\qquad=a_1^2\text{Var}(X_1)+2a_1\text{Cov}(X_1,a_2X_2+Y_2)+\text{Var}(a_2X_2+Y_2)$

$\qquad=a_1^2\text{Var}(X_1)+2a_1a_2\text{Cov}(X_1,X_2)+2a_1\text{Cov}(X_1,Y_2)+\text{Var}(a_2X_2+Y_2)$

Ersetzen Sie dann weiterhin und verwenden Sie dieselben grundlegenden Ergebnisse. Verwenden Sie dann im letzten Schritt Y n - 1 = a n X $Y_{i-1}=a_iX_i+Y_i$$Y_{n-1}=a_nX_n$

Mit Vektoren (das Ergebnis muss also skalar sein):

$\text{Var}(a'\,X)=a'\,\text{Var}(X)\,a$

Oder mit einer Matrix (das Ergebnis ist eine Varianz-Kovarianz-Matrix):

$\text{Var}(A\,X)=A\,\text{Var}(X)\,A'$

Dies hat den Vorteil, dass Kovarianzen der verschiedenen linearen Kombinationen angegeben werden, deren Koeffizienten die Reihen von auf den nicht diagonalen Elementen im Ergebnis sind.$A$

Selbst wenn Sie nur die univariaten Ergebnisse kennen, können Sie diese bestätigen, indem Sie Element für Element überprüfen.

Grundsätzlich ist der Beweis der gleiche wie die erste Formel. Ich werde beweisen, dass es eine sehr brutale Methode ist.

$Var(a_1X_1+...+a_nX_n)=E[(a_1X_1+..a_nX_n)^2]-[E(a_1X_1+...+a_nXn)]^2 =E[(a_1X_1)^2+...+(a_nX_n)^2+2a_1a_2X_1X_2+2a_1a_3X_1X_3+...+2a_1a_nX_1X_n+...+2a_{n-1}a_nX_{n-1}X_n]-[a_1E(X1)+...a_nE(X_n)]^2$

$=a_1^2E(X_1^2)+...+a_n^2E(X_n^2)+2a_1a_2E(X_1X_2)+...+2a_{n-1}a_nE(X_{n-1}X_n)-a_1^2[E(X_1)]^2-...-a_n^2[E(X_n)]^2-2a_1a_2E(X_1)E(X_2)-...-2a_{n-1}a_nE(X_{n-1})E(X_n)$

$=a_1^2E(X_1^2)-a_1^2[E(X_1)]^2+...+a_n^2E(X_n^2)-a_n^2[E(Xn)]^2+2a_1a_2E(X_1X_2)-2a_1a_2E(X_1)E(X_2)+...+2a_{n-1}a_nE(X_{n-1}X_n)-2a_{n-1}a_nE(X_{n-1})E(X_n)$

Weiter nur beachten:

$a_n^2E(X_n^2)-a_n^2[E(X_n)]^2=a_n\sigma_n^2$

und

$2a_{n-1}a_nE(X_{n-1}X_n)-2a_{n-1}a_nE(X_{n-1})E(X_n)=2a_{n-1}a_nCov(X_{n-1},Xn)$

Nur zum Spaß, Beweis durch Induktion!

$P(k)$$Var[\sum_{i=1}^k a_iX_i] = \sum_{i=1}^k a_i^2\sigma_i^2 + 2\sum_{i=1}^k \sum _{j>i}^k a_ia_jCov[X_i, X_j]$

$P(2)$

Nehmen wir an, P (k) ist wahr. Somit,

$Var[\sum_{i=1}^{k+1} a_iX_i] = Var[\sum_{i=1}^{k} a_iX_i + a_{k+1}X_{k+1}]$

$=Var[\sum_{i=1}^{k} a_iX_i] + Var[a_{k+1}X_{k+1}] + 2 Cov[\sum_{i=1}^{k} a_iX_i,a_{k+1}X_{k+1}]$

$=\sum_{i=1}^k a_i^2\sigma_i^2 + 2\sum_{i=1}^k \sum _{j>i}^k a_ia_jCov[X_i, X_j]+ a_{k+1}^2\sigma_{k+1}^2 + 2Cov[\sum_{i=1}^{k} a_iX_i, a_{k+1}X_{k+1}]$

$=\sum_{i=1}^{k+1} a_i^2\sigma_i^2 + 2\sum_{i=1}^k \sum _{j>i}^k a_ia_jCov[X_i, X_j] + 2\sum_{i=1}^ka_ia_{k+1}Cov[X_i, X_{k+1}]$

$=\sum_{i=1}^{k+1} a_i^2\sigma_i^2 + 2\sum_{i=1}^{k+1} \sum _{j>i}^{k+1} a_ia_jCov[X_i, X_j]$

$P(k+1)$

Also, durch Induktion,

$Var[\sum_{i=1}^n a_iX_i] = \sum_{i=1}^n a_i^2\sigma_i^2 + 2\sum_{i=1}^n \sum _{j>i}^n a_ia_jCov[X_i, X_j]$$n \geq 2$