Verstehen, dass

Ich habe gerade diese Frage und die wundervolle akzeptierte Antwort in diesem Forum gesehen. Ich wurde dann veranlasst, intuitiv zu verstehen, warum die Division von die Kovarianz normalisiert:$S_xS_y$

$$\frac{\operatorname{COV}(X,Y)}{S_xS_y} \in [-1,1]$$

Ich denke, es wird hilfreich sein, wenn ich nur verstehe, warum auf normalisiert . Natürlich verstehe ich, dass sie per Definition gleich sind. Aber meine Frage lautet im Grunde: Unter Verwendung der Terminologie der akzeptierten Antwort, warum ist die Gesamtsumme von Rot in der Darstellung genau (genauer, soweit ich verstehe, ist die Summe zu sagen der durch Rechtecke sollte ) sein. Ich meine, wenn wir eine Stichprobe von Beobachtungen nehmen, dann haben wir Rechtecke, während wir die Definition verwenden, müssen wir den Mittelwert von nur Werten finden. COV ( X , X ) 1 S x S x = VAR ( X ) n 2 VAR ( X ) 10 45 $S_xS_x$$\operatorname{COV}(X,X)$$1$$S_xS_x = \operatorname{VAR}(X)$$n^2$$\operatorname{VAR}(X)$$10$$45$$10$

In diesem Beitrag wird eine leistungsstarke Argumentationsmethode vorgestellt, die viel Algebra und Berechnung vermeidet. Für diejenigen, die mit dieser Methode vertraut sind, ist die Arbeit so automatisch und natürlich, dass die erste Antwort auf eine Frage wie diese lautet: "Es ist offensichtlich!" Aber vielleicht ist es nicht so offensichtlich, bis Sie die Methode gesehen haben. Daher werden alle Details Schritt für Schritt erklärt.

Hintergrund

Es gibt verschiedene Formeln für die Varianz der Daten (mit dem Mittelwert ˉ x = ( x 1 + ⋯ + x n ) / n ), einschließlich$\mathbf{x}=x_1, x_2, \ldots, x_n$$\bar x = (x_1+\cdots + x_n)/n$

$$\operatorname{Var}(\mathbf{x}) = \frac{1}{n}\sum_{i=1}^n (x_i - \bar x)^2 = \frac{1}{n}\left(\sum_{i=1}^n x_i^2\right) - \bar x^2.\tag{1}$$

Dies bestimmt die Kovarianz gepaarter Daten über$(x_1,y_1), \ldots, (x_n, y_n)$

$$\operatorname{Cov}(\mathbf{x}, \mathbf{y}) = \frac{1}{4}\left(\operatorname{Var}(\mathbf{x}+\mathbf{y}) - \operatorname{Var}(\mathbf{x}-\mathbf{y})\right).$$

Die Formel, auf die in dem Beitrag verwiesen wird, in dem auf Kovarianz mit Buntstiften verwiesen wird, lautet

$$C(\mathbf{x}, \mathbf{y}) = \sum_{i=1}^{n-1} \sum_{j=i+1}^n (x_j - x_i)(y_j - y_i) = \frac{1}{2}\sum_{i,j=1}^n (x_j - x_i)(y_j - y_i).\tag{2}$$

Dieser Beitrag behauptet, sei proportional zur Kovarianz. Die Proportionalitätskonstante c ( n ) könnte (und tut) mit n variieren . Wenn also x = y ist, ist eine Implikation dieser Behauptung die folgende$C$$c(n)$$n$$\mathbf{x}=\mathbf{y}$

$$C(\mathbf{x}, \mathbf{x}) = c(n) \operatorname{Var}(\mathbf{x}).$$

---

Analyse

Obwohl dies mit Brute-Force-Algebra demonstriert werden könnte, gibt es einen besseren Weg: Lassen Sie uns die grundlegenden Eigenschaften der Kovarianz ausnutzen. Welche Eigenschaften wären das? Ich möchte vorschlagen, dass Folgendes grundlegend ist:

1. Standortunabhängigkeit. Das heißt, für eine beliebige Zahl a . (Der Ausdruck x - a bezieht sich auf den Datensatz x 1 - a , x 2 - a , … , x n - a .)

   $$\operatorname{Cov}(\mathbf{x}, \mathbf{y}) = \operatorname{Cov}(\mathbf{x}-\mathbf{a}, \mathbf{y})$$ $a$$\mathbf{x}-\mathbf{a}$$x_1-a, x_2-a, \ldots, x_n-a$

2. Multilinearität. Dies impliziert für eine beliebige Zahl λ . (Der Ausdruck λ x bezieht sich auf den Datensatz λ x 1 , λ x 2 , … , λ x n .)

   $$\operatorname{Cov}(\lambda\,\mathbf{x}, \mathbf{y}) = \lambda\,\operatorname{Cov}(\mathbf{x}, \mathbf{y})$$ $\lambda$$\lambda\mathbf{x}$$\lambda x_1, \lambda x_2, \ldots, \lambda x_n$

3. Symmetrie. Die Kovarianz von und y ist die Kovarianz von y und x : Cov ( x , y ) = Cov ( y , x ) $\mathbf{x}$$\mathbf{y}$$\mathbf{y}$$\mathbf{x}$

   $$\operatorname{Cov}(\mathbf{x}, \mathbf{y}) =\operatorname{Cov}(\mathbf{y}, \mathbf{x}).$$

4. Invarianz unter Permutationen. Die Kovarianz ändert sich nicht, wenn wir neu indizieren . Formal ist Cov ( x , y ) = Cov ( x σ , y σ ) für jede Permutation σ ∈ S n . (Ausdrücke wie x σ repräsentieren die Neuordnung von x i nach σ , so dass x σ = x σ ( 1 )$(x_i, y_i)$

   $$\operatorname{Cov}(\mathbf{x}, \mathbf{y}) = \operatorname{Cov}(\mathbf{x}^\sigma, \mathbf{y}^\sigma)$$ $\sigma\in\mathfrak{S}_n$$\mathbf{x}^\sigma$$x_i$$\sigma$)$\mathbf{x}^\sigma = x_{\sigma(1)}, x_{\sigma(2)}, \ldots, x_{\sigma(n)}.$

Alle diese Eigenschaften gelten offensichtlich sowohl für als auch für C, wenn die Formen der Ausdrücke ( 1 ) und ( 2 ) untersucht werden . Die einzige Erklärung, die möglicherweise einer Erklärung bedarf, ist die Standortunabhängigkeit. Eine konstante Verschiebung der Werte von x i ändert jedoch weder die Residuen noch die Differenzen:$\operatorname{Var}$$C$$(1)$$(2)$$x_i$

$$x_i - \bar{x} = (x_i - a) - \overline{x - a}$$

und

$$x_j - x_i = (x_j - a) - (x_i - a).$$

Folglich ist es in der Tat offensichtlich, dass die erste Version von und ( 2 ) ortsunabhängig ist.$(1)$$(2)$

---

Lösung

Hier ist also die Begründung. Da symmetrisch und multilinear ist, ist es eine quadratische Form, die vollständig durch die Koeffizienten c i j = c j i bestimmt wird :$C$$c_{ij} = c_{ji}$

$$C(\mathbf{x}, \mathbf{y}) = \sum_{i, j=1}^n c_{ij}\, x_i y_j.$$

$c_{ij} = c_{i^\prime j^\prime}$$i,j,i^\prime,j^\prime$$i\ne j$$i^\prime \ne j^\prime$$c_{ii} = c_{i^\prime i^\prime}$$i$$i^\prime$$C$$c_{11}$$c_{12}$

$$0 = C(\mathbf{0},\mathbf{0}) \overset{\text{location-invariance}}{=} C(\mathbf{1},\mathbf{0}) \overset{\text{symmetry}}{=} C(\mathbf{0},\mathbf{1}) \overset{\text{location-invariance}}{=} C(\mathbf{1},\mathbf{1})$$

$\mathbf{0}$$\mathbf{1}$$n$

$$0=C(\mathbf{1},\mathbf{1}) = \sum_{i,j}^n c_{ij} = nc_{11} + (n^2-n)c_{12},$$ $c_{11}$$c_{12}$

$C$$\operatorname{Cov}$$(1)$$(2)$$x_1^2$$c_{11}$$(1)$$x_1^2$$1/n - (1/n)^2$$(2)$$\mathbf{y} = \mathbf{x}$$x_1^2$$n-1$$(\mathbf{x},\mathbf{x})$$n-1$$n-1$

$$c(n) = \frac{n-1}{1/n - (1/n)^2} = n^2,$$

QED . Dies war die einzige Berechnung, die zum Nachweis erforderlich war

$$\operatorname{Cov}(\mathbf{x}, \mathbf{y}) = \frac{1}{n^2}C(\mathbf{x}, \mathbf{y}) = \frac{1}{n^2}\sum_{i=1}^{n-1} \sum_{j=i+1}^n (x_j - x_i)(y_j - y_i).$$