Die Stichprobenkorrelation und die Stichprobenstandardabweichung von (nenne es ) scheinen positiv korreliert zu sein, wenn ich bivariates normales , mit einer positiven wahren Korrelation simuliere (und scheinen negativ korreliert zu sein, wenn die wahre Korrelation zwischen und ist Negativ). Ich fand das etwas eingängig. Sehr heuristisch denke ich, dass dies die Tatsache widerspiegelt, dass die erwartete Zunahme von Y (in Einheiten von SD (Y)) für eine Zunahme von X um eine SD darstellt, und wenn wir ein größeres , dann spiegelt die Änderung von Y wider verbunden mit einer größeren Änderung in X.$r$$X$$s_X$$X$$Y$$X$$Y$$r$$s_X$$r$

Ich würde jedoch gerne wissen, ob für im Allgemeinen gilt (zumindest für den Fall, dass X und Y bivariat normal und mit großem n sind). Wenn wir eine echte SD bezeichnen lassen, haben wir:$Cov(r, s_x) >0$$r>0$$\sigma$

$$Cov(r, s_X) = E [ r s_X] - \rho \sigma_x$$

$$\approx E \Bigg[ \frac{\widehat{Cov}(X,Y)}{s_Y} \Bigg] - \frac{Cov(X,Y)}{\sigma_Y}$$

Ich habe versucht, im ersten Term eine Taylor-Erweiterung zu verwenden, aber das hängt von ist also eine Sackgasse. Irgendwelche Ideen?$Cov(\widehat{Cov}(X,Y), s_Y)$

BEARBEITEN

Vielleicht wäre eine bessere Richtung zu versuchen zu zeigen, dass , wobei der OLS-Koeffizient von Y auf X ist. Dann könnten wir das argumentieren, da , dies impliziert das gewünschte Ergebnis. Da fast wie ein Unterschied der Stichprobenmittelwerte ist, könnten wir vielleicht das erstere Ergebnis erhalten, indem wir so etwas wie die bekannte Unabhängigkeit des Stichprobenmittelwerts und der Varianz für ein normales Wohnmobil verwenden?$Cov(\widehat{\beta}, s_X)=0$$\widehat{\beta}$$\widehat{\beta} = r \frac{s_Y}{s_X}$$\widehat{\beta}$

TL; dr

Die nicht diagonalen Einträge der Stichproben-Kovarianz werden im Allgemeinen mit den diagonalen Einträgen korreliert, da nur dann gilt, wenn spezielle Bedingungen für die gemischten Momente 4. Ordnung gelten. Wenn bivariate Gaußsche Werte sind, gelten diese Bedingungen nur, wenn von unabhängig ist .$E(XY^3) - E(XY)E(Y^2) = 0$$(X,Y)$$X$$Y$

Einzelheiten

Es gibt ein asymptotisches Ergebnis, das hier gezeigt werden kann, indem die Grenzverteilung von mal der Probenkovarianz untersucht wird (nach der CLT wird es multivariate Normalen sein) und dann die Delta-Methode angewendet wird. Dies bedeutet leider, dass wir einen Umweg über eine Ableitung der Verteilung der Stichproben-Kovarianz machen müssen da ich online keine guten Referenzen dazu finden kann. Wenn Sie bereit sind, Normalität anzunehmen, können Sie mit Kenntnis der Kovarianz der Wishart-Verteilung direkt zu Abschnitt 2 springen.$\sqrt n$$^1$

1 Die asymptotische Verteilung der Probenkovarianz

Sei eine iid-Stichprobe aus einer bivariaten Verteilung mit endlichen vierten Momenten und sei Ohne Verlust der Allgemeinheit und um lästige zusätzliche Buchhaltung zu vermeiden, nehmen wir . $V_1, \dotsc, V_n$$V_i = \begin{pmatrix} X_i \\ Y_i \end{pmatrix}$

$$\text{Cov}(V_i) = \begin{pmatrix} \sigma^2 & \rho \sigma \tau \\ \rho \sigma \tau & \tau^2 \end{pmatrix} = \Sigma.$$ $E(V_i) = \mathbf{0}$

Dann ist durch die Linearität der Erwartung und das schwache Gesetz großer Zahlen die Stichproben-Kovarianz ist unvoreingenommen und konsistent für und tatsächlich

$$S_n = \frac{1}{n-1} \sum_{i=1}^n (V_i - \bar V_n) (V_i - \bar V_n)^T = \frac{1}{n-1}\sum_{i=1} V_i V_i^T - \frac{n}{n-1} \bar V_n \bar V_n^T$$ $\Sigma$ $$\sqrt{n} (S_n - \Sigma) \rightarrow_d N(0, \Lambda).$$

Die Übung geht somit zur Bestimmung von . Für eine symmetrische Matrix , lassen sein , die "Vektorisierung" seines oberen Dreiecks. Betrachten Sie nun ein einzelnes Element des Durchschnitts, das in den führenden Term (die Streumatrix) von : Durch die Null-Mittelwert-Annahme, dass bereits und durch Berücksichtigung der Potenzen von und , die in , können wir einfach schreiben $\Lambda$$\mathbf{A} = \begin{pmatrix} a & b \\ b & c \end{pmatrix}$$\tilde{\mathbf{A}} = (a, b, c)^T$$S_n$

$$\tilde Z_i = \widetilde{V_i V_i^T} = \begin{pmatrix} X_i^2 \\ X_i Y_i \\ Y_i^2 \end{pmatrix}.$$ $E(Z_i) = \tilde \Sigma$$X$$Y$$\tilde{Z}_i \tilde{Z}_i^T$ $$\text{Cov}(\tilde Z_i) = E(\tilde Z_i \tilde Z_i^T) - E(\tilde Z_i) E(\tilde Z_i)^T = \begin{pmatrix} \kappa_{40} \sigma^4 & \kappa_{31} \sigma^2 \tau & \kappa_{22} \sigma^2 \tau^2 \\ \kappa_{31} \sigma^2 \tau & \kappa_{22} \sigma^2 \tau^2 & \kappa_{13} \sigma \tau^3 \\ \kappa_{22} \sigma^2 \tau^2 & \kappa_{13} \sigma \tau^3 & \kappa_{04} \tau^4 \end{pmatrix} - \tilde \Sigma \tilde \Sigma^T.$$

Hier gibt das an gemischtes standardisiertes Moment (ungefähr der Mittelwert, aber wir haben zu Beginn den Mittelwert Null angenommen).

$$\kappa_{ij} = E \left[ \left( \frac{X_i}{\sigma} \right)^i \left( \frac{Y_i}{\tau} \right)^j \right]$$ $ij$

Alternativ haben wir die Faktorisierung wobei , und

$$\text{Cov}(\tilde Z_i) = D(\sigma, \tau) [ K - R(\rho) R(\rho)^T ] D(\sigma, \tau), \quad (1)$$ $D(\sigma, \tau) = \text{diag}(\sigma^2, \sigma \tau, \tau^2)$$R(\rho) = (1, \rho, 1)^T$ $$K = \begin{pmatrix} \kappa_{04} & \kappa_{31} & \kappa_{22} \\ \kappa_{31} & \kappa_{22} & \kappa_{13} \\ \kappa_{22} & \kappa_{13} & \kappa_{04} \end{pmatrix}.$$

Wir haben also, dass und , die die Stichprobenvarianz von und die Kovarianz von korreliert sind, es sei denn, . Wenn multivariat normal ist, tritt dies nur auf, wenn .$Z_{11}$$Z_{12}$$X$$X,Y$$\rho = \kappa_{31}$$V_i$$\rho = 0$

2 Der Korrelationskoeffizient

Betrachten Sie nun die Transformation auf . Dies liefert die bivariate Verteilung des Probenkorrelationskoeffizienten und der Probenvarianz von x. Nach der Delta-Methode und der asymptotischen Normalität von ist wobei ist der Jacobi von .$g(x, y, z) = (x, \frac{y}{\sqrt{z}\sqrt{x}})$$\tilde{S_n}$$S_n$

$$\sqrt{n}( g(\tilde{S_n}) - (\rho, \sigma^2)^T ) \rightarrow N(0, \mathbf{J}(\tilde \Sigma)^T \tilde \Lambda \mathbf{J}(\tilde \Sigma)),$$ $\mathbf{J}(\tilde \Sigma) = [\nabla g_1^T, \nabla g_2^T]^T$$g$

Ich finde , (obwohl Sie wahrscheinlich wollen meine Algebra überprüfen ..) , dass der Gradient der zweiten Komponente von heißt So $g$

$$\nabla g_2 (\sigma^2, \rho \sigma \tau, \tau^2) = \left( -\frac{\rho}{2\sigma^2}, \frac{1}{\sigma \tau}, -\frac{\rho}{2 \tau^2} \right)^T,$$
$$J(\sigma, \rho, \tau) = \begin{pmatrix} 1 & -\frac{\rho}{2\sigma^2} \\ 0 & \frac{1}{\sigma \tau} \\ 0 & -\frac{\rho}{2 \tau^2} \end{pmatrix}.$$

Alles zusammen mit der Faktorisierung in Gleichung (1) ergibt

$$J(\sigma, \rho, \tau)^T D(\sigma, \tau) [ K - R(\rho) R(\rho)^T ] D(\sigma, \tau) J(\sigma, \rho, \tau).$$

Wenn Sie einige einfach zu verwendende Zahlen eingeben , z. B. und , hätten wir für wobei im Allgemeinen eine dichte Matrix ist. Mit freundlicher Genehmigung von Mathematica habe ich dieses Produkt in Bezug auf Einträge in und unter$\sigma = \tau = 1$$\rho = .5$

$$J(\sigma, \rho, \tau)^T D(\sigma, \tau) [ K - R(\rho) R(\rho)^T ] D(\sigma, \tau)J(\sigma, \rho, \tau) = \begin{pmatrix} -1/4 & 1 & -1/4 \\ 1 & 0 & 0 \end{pmatrix} \mathbf I \Omega \mathbf I \begin{pmatrix} -1/4 & 1 \\ 1 & 0 \\ -1/4 & 0 \end{pmatrix} = \mathbf{Q},$$ $\Omega = K - R(\rho) R(\rho)^T$$K$$Q_{12}$ $$n \times Q_{12} = n \times \text{Cov}(r, s^2_x) = \kappa_{31} -\frac{\kappa_{04} + \kappa_{22}}{4} \quad (2)$$ Das ist ein undurchsichtiger Ausdruck in Bezug auf die gemischten Momente, aber es scheint sicher nicht so, als würde es im Allgemeinen Null sein.

3 Spezialisiert auf den Normalfall

Das Isserlis-Theorem bietet eine Möglichkeit, die gemischten Momente eines Gaußschen abzuleiten. Wieder unter der Annahme von und wir , also , wie Sie beobachten.$\sigma = \tau = 1$$\rho = .5$$\kappa_{31} = 3/2, \kappa_{04} = 3, \kappa_{22} = 3/2$$Q_{12} = 3/2 - (3 + 3/2)/4 = 3/8 > 0$

4 Simulation und Beispiel

Unten finden Sie eine Simulation zur Überprüfung von Gleichung (1). Für und (in rot bzw. blau) iid Beobachtungen aus einer multivariaten Normalen leite ich die Kovarianz von durch Bootstrap ab. Die Kovarianz zwischen und auf der Y - Achse aufgetragen , wie von variiert bis . Der theoretische Wert aus Gleichung (1) und die Verwendung von Fakten über die Momente 4. Ordnung des bivariaten Gaußschen ist in einer gestrichelten schwarzen Linie dargestellt.$n=100$$n=1000$$\sqrt{n} \tilde S_n$$S_{xy}$$S_{xx}$$\rho$$-.9$$.9$

Ein Spaß Übung wäre, zu versuchen , eine Familie von Copula zu finden , dass für einen beliebigen Wert von machen würde ...$\rho$$\text{Cov}(S_{xy}, S_{xx}) = 0$

library(mvtnorm)
library(tidyverse)
library(boot)
params = expand.grid(sx = 1, sy = 1, n = c(100, 1000), rho = seq(-.9, .9, by = .1), replicate = 1:10) %>% mutate(k04 = 3*sx^4, k31 = 3*sx*rho*sx*sy, q12 = k31 - rho*sx*sy)

Sn_tilde = function(dat, idx){
    Sn = cov(dat[idx,,drop =FALSE])*sqrt(length(idx))
    Sn[upper.tri(Sn, diag = TRUE)]
}

out = params %>% group_by_all() %>% do({
    x = with(., rmvnorm(n = .$n, sigma = matrix(c(sx^2, rho*sx*sy,
                                            rho*sx*sy, sy^2), nrow = 2)))
colnames(x) = c('X', 'Y')
b = boot(x, Sn_tilde, R = 500)
cov_Sn = cov(b$t)
    rownames(cov_Sn) = colnames(cov_Sn) = c('Sxx', 'Sxy', 'Syy')
    as_tibble(cov_Sn, rownames = 'j')
})


ggplot(filter(out,  j == 'Sxx'), aes(x = rho, y = Sxy, color = factor(n))) + geom_point(size = .5, alpha = .5) + geom_smooth(method = 'lm') + geom_line(data = filter(params, replicate == 1, n == 100), aes(y = q12), lty = 2, color = 'black') + theme_minimal() + ylab('Cov(Sxy, Sxx)')

---

$^1$ Hierbei werden Michael Perlmans Vorlesungsunterlagen zu Wahrscheinlichkeits- und mathematischen Statistiken verwendet, von denen ich mir wirklich wünschte, sie wären elektronisch verfügbar, damit ich meine ersetzen könnte, wenn sie abgenutzt sind ...

Bearbeiten: Diese Antwort ist falsch. Ich bin mir nicht sicher, ob es besser ist, es hier für die Aufzeichnung zu belassen oder es einfach zu löschen.

Ja, es gilt asymptotisch, unabhängig von der Verteilung von X und Y. Ich war mit der Taylor-Erweiterung auf dem richtigen Weg:

Dies hängt von der gemeinsamen Verteilung ab. Für das von Ihnen erwähnte Beispiel ist die bivariate Normalverteilung (Mittelwert Null) durch . Daraus folgt, dass man alle möglichen Wertekombinationen dieser drei Parameter haben kann, was bedeutet, dass keine Beziehung zwischen und den Standardabweichungen hergestellt werden kann.$\rho, \sigma_x, \sigma_y$$\rho$

Für andere bivariate Verteilungen kann der Korrelationskoeffizient grundsätzlich eine Funktion der Standardabweichungen sein (im Wesentlichen sind beide Funktionen primitiverer Parameter). In diesem Fall kann untersucht werden, ob eine monotone Beziehung besteht.