Die Linearität der Varianz

15

Ich denke, die folgenden zwei Formeln sind wahr:

V a r (a X) = a^{2} V a r (X)

$\mathrm{Var}(aX)=a^2 \mathrm{Var}(X)$ während a eine konstante Zahl ist wenn , unabhängig sind

V a r (X + Y) = V a r (X) + V a r (Y)

$\mathrm{Var}(X + Y)=\mathrm{Var}(X)+\mathrm{Var}(Y)$

X

$X$

Y

$Y$

Ich bin mir jedoch nicht sicher, was mit dem Folgenden falsch ist:

V a r (2 X) = V a r (X + X) = V a r (X) + V a r (X)

$\mathrm{Var}(2X) = \mathrm{Var}(X+X) = \mathrm{Var}(X) + \mathrm{Var}(X)$ was nicht , dh .

2^{2} V a r (X)

$2^2 \mathrm{Var}(X)$

4 V a r (X)

$4\mathrm{Var}(X)$

Wenn angenommen wird, dass die Stichprobe aus einer Population ist, können wir davon ausgehen, dass immer unabhängig von den anderen . $X$ $X$ $X$

Also, was ist los mit meiner Verwirrung?

variance linearity fallacy lanselibai
quelle

8

Varianz ist nicht linear - Ihre erste Aussage zeigt dies (wenn es so wäre, hätten Sie . Kovarianz andererseits ist bilinear.

V a r (a X) = a V a r (X)

$Var(aX) = a Var(X)$

Batman

33

$\DeclareMathOperator{\Cov}{Cov}$ $\DeclareMathOperator{\Corr}{Corr}$ $\DeclareMathOperator{\Var}{Var}$

Das Problem mit Ihrer Argumentation ist

"Ich denke, wir können immer davon ausgehen, dass unabhängig von den anderen ." $X$ $X$

$X$ ist nicht unabhängig von . Mit dem Symbol wird hier auf die gleiche Zufallsvariable verwiesen. Sobald Sie den Wert des ersten , das in Ihrer Formel angezeigt werden soll, wird auch der Wert des zweiten , das angezeigt werden soll. Wenn Sie möchten, dass sie sich auf bestimmte (und möglicherweise unabhängige) Zufallsvariablen beziehen, müssen Sie sie mit verschiedenen Buchstaben (z. B. und ) oder mit Indizes (z. B. und ) . Letzteres wird oft (aber nicht immer) verwendet, um Variablen zu bezeichnen, die aus derselben Verteilung stammen. $X$ $X$ $X$ $X$ $X$ $Y$ $X_1$ $X_2$

Wenn zwei Variablen und unabhängig sind dann ist die gleiche wie den Wert des Wissens: nicht geben uns keine weiteren Informationen über den Wert von . Aber ist , wenn und sonst: den Wert des Wissens gibt Ihnen die vollständige Informationen über den Wert von . [Sie können die Wahrscheinlichkeiten in diesem Absatz durch kumulative Verteilungsfunktionen oder gegebenenfalls Wahrscheinlichkeitsdichtefunktionen ersetzen, um im Wesentlichen den gleichen Effekt zu erzielen.] $X$ $Y$ $\Pr(X=a|Y=b)$ $\Pr(X=a)$ $Y$ $X$ $\Pr(X=a|X=b)$ $1$ $a=b$ $0$ $X$ $X$

Eine weitere Möglichkeit , die Dinge zu sehen ist , dass , wenn zwei Variablen unabhängig sind , dann haben sie eine Nullkorrelation (obwohl Null - Korrelation bedeutet nicht , Unabhängigkeit !) , Aber ist perfekt mit sich selbst korreliert, , so kann nicht sein , unabhängig von sich. Man beachte, dass, da die Kovarianz gegeben ist durch , dann $X$ $\Corr(X,X)=1$ $X$ $\Cov(X,Y)=\Corr(X,Y)\sqrt{\Var(X)\Var(Y)}$

Cov (X, X) = 1 \sqrt{Var (X)^{2}} = Var (X)

$\Cov(X,X)=1\sqrt{\Var(X)^2}=\Var(X)$

Die allgemeinere Formel für die Varianz einer Summe von zwei Zufallsvariablen lautet

Var (X + Y) = Var (X) + Var (Y) + 2 Cov (X, Y)

$\Var(X+Y) = \Var(X) + \Var(Y) + 2 \Cov(X,Y)$

Insbesondere , so $\Cov(X,X) = \Var(X)$

Var (X + X) = Var (X) + Var (X) + 2 Var (X) = 4 Var (X)

$\Var(X+X) = \Var(X) + \Var(X) + 2\Var(X) = 4\Var(X)$

Das ist das gleiche, was Sie aus der Anwendung der Regel abgeleitet hätten

Var (a X) = a^{2} Var (X) ⟹ Var (2 X) = 4 Var (X)

$\Var(aX) = a^2 \Var(X) \implies \Var(2X) = 4\Var(X)$

Wenn Sie an Linearität interessiert sind, könnte Sie die Bilinearität der Kovarianz interessieren . Für Zufallsvariablen , , und (abhängig oder unabhängig) und Konstanten , , und gilt $W$ $X$ $Y$ $Z$ $a$ $b$ $c$ $d$

Cov (a W + b X, Y) = a Cov (W, Y) + b Cov (X, Y)

$\Cov(aW + bX, Y) = a \Cov(W,Y) + b \Cov(X,Y)$

Cov (X, c Y + d Z) = c Cov (X, Y) + d Cov (X, Z)

$\Cov(X, cY + dZ) = c \Cov(X,Y) + d \Cov(X,Z)$

und insgesamt

Cov (a W + b X, c Y + d Z) = a c Cov (W, Y) + a d Cov (W, Z) + b c Cov (X, Y) + b d Cov (X, Z)

$\Cov(aW + bX, cY + dZ) = ac \Cov(W,Y) + ad \Cov(W,Z) + bc \Cov(X,Y) + bd \Cov(X,Z)$

Sie können dies dann verwenden, um die (nicht linearen) Ergebnisse für die Varianz zu beweisen, die Sie in Ihrem Beitrag geschrieben haben:

Var (a X) = Cov (a X, a X) = a^{2} Cov (X, X) = a^{2} Var (X)

$\Var(aX) = \Cov(aX, aX) = a^2 \Cov(X,X) = a^2 \Var(X)$

\begin{aligned} Var (a X + b Y) & = Cov (a X + b Y, a X + b Y) \\ = a^{2} Cov (X, X) + a b Cov (X, Y) + b a Cov (X, Y) + b^{2} Cov (Y, Y) \\ Var (a X + b Y) & = a^{2} Var (X) + b^{2} Var (Y) + 2 a b Cov (X, Y) \end{aligned}

$\begin{align} \Var(aX + bY) &= \Cov(aX + bY, aX + bY) \\ &= a^2 \Cov(X,X) + ab \Cov(X,Y) + ba \Cov (X,Y) + b^2 \Cov(Y,Y) \\ \Var(aX + bY) &= a^2 \Var(X) + b^2 \Var(Y) + 2ab \Cov(X,Y) \end{align}$

Letztere gibt, als Sonderfall , wenn , $a=b=1$

Var (X + Y) = Var (X) + Var (Y) + 2 Cov (X, Y)

$\Var(X+Y) = \Var(X) + \Var(Y) + 2 \Cov(X,Y)$

Wenn und nicht korreliert sind (was den Fall einschließt, in dem sie unabhängig sind), reduziert sich dies auf . Wenn Sie also Varianzen "linear" manipulieren möchten (was häufig eine gute Möglichkeit ist, algebraisch zu arbeiten), sollten Sie stattdessen mit den Kovarianzen arbeiten und deren Bilinearität ausnutzen. $X$ $Y$ $\Var(X+Y) = \Var(X) + \Var(Y)$

Silberfisch
quelle

1

Ja! Ich denke, Sie haben am Anfang festgestellt, dass die Verwirrung im Wesentlichen eine notatorische war. Ich fand es sehr hilfreich, wenn in einem Buch (sehr explizit, manche sagen mühsam) die Interpretation und die Regeln für die Bewertung einer probabilistischen Aussage erläutert wurden (z. B. auch, wenn Sie wissen, was Sie mit meinen Wo , ist es technisch falsch, wenn Sie überlegen, ein in Craps zu werfen (und würde niemals einen ungeraden Wurf ergeben); richtig ausgedrückt mit iid).

Pr (X + X = n)

$\Pr (X+X=n)$

X \sim Uniform (1..6)

$X \sim \text{Uniform}(1..6)$

n

$n$

X + X = 2 X

$X+X=2X$

X_{1}, X_{2}

$X_1,X_2$

Vandermonde

1

Dies steht im Gegensatz zu (und ich glaube , mein Mißverständnis von dämmt haben könnte) , wie 2+PRNG(6)+PRNG(6)oft ist , wie Sie Würfel , wie oben und / oder Notation / Konventionen wie werfen würden in dem verschiedene Instanzen wirklich unabhängig sein sollen.

2 d 6 = d 6 + d 6

$2 \text{d}6 = \text{d}6 + \text{d}6$

Vandermonde

@ Vandermonde Das ist ein interessanter Punkt. Ich dachte anfangs darüber nach, die Verwendung von Indizes zur Unterscheidung zwischen "verschiedenen " zu erwähnen, störte mich aber nicht - ich denke, ich könnte es jetzt bearbeiten. Das Argument, dass "Sie niemals eine ungerade Gesamtpunktzahl erhalten würden, wenn die Summe ", ist sehr klar und überzeugend für jemanden, der die Notwendigkeit einer Unterscheidung nicht erkennen kann: Danke, dass Sie es geteilt haben.

X

$X$

2 X

$2X$

Silverfish

0

Ein anderer Weg , um darüber nachzudenken , ist , dass mit Zufallsvariablen . $2X \neq X + X$

$2X$ würde das Zweifache des Ergebnisses von bedeuten , während zwei Versuche mit bedeuten würde . Mit anderen Worten, es ist der Unterschied zwischen einmaligem Würfeln und zweimaligem Verdoppeln des Ergebnisses und zweimaligem Würfeln. $X$ $X + X$ $X$

Benjamin
quelle

+1 Dies ist eine vollkommen klare und korrekte Antwort. Willkommen auf unserer Webseite!

Whuber

Danke @whuber!

Benjamin

Die Linearität der Varianz

Antworten: