Shrunken

In meinem Kopf gab es einige Verwirrung über zwei Arten von Schätzern für den Populationswert des Pearson-Korrelationskoeffizienten.

A. Fisher (1915) zeigte, dass für bivariate Normalpopulation empirisch ein negativ verzerrter Schätzer von , obwohl die Verzerrung nur für kleine Stichprobengrößen ( ) von praktisch beträchtlichem Wert sein kann . Stichprobe unterschätzt in dem Sinne, dass sie näher bei als . (Außer wenn letzteres oder , dann ist unbefangen.) Es wurden mehrere beinahe unbefangene Schätzer für vorgeschlagen, von denen der beste wahrscheinlich Olkin und Pratt (1958) ist. $r$ $\rho$ $n<30$ $r$ $\rho$ $0$ $\rho$ $0$ $\pm 1$ $r$ $\rho$ korrigiertes : $r$

r_{unbiased} = r [1 + \frac{1 - r^{2}}{2 (n - 3)}]

$r_\text{unbiased} = r \left [1+\frac{1-r^2}{2(n-3)} \right ]$

B. Es wird gesagt, dass in der beobachteten Regression die entsprechende Population R-Quadrat überschätzt. Oder mit einfacher Regression ist es, dass überschätzt . Auf der Grundlage dieser Tatsache habe ich , dass viele Texte gesehen sagen , ist positiv relativ voreingenommen zu , Absolutwert bedeutet: ist weiter weg von als (? Ist diese Aussage wahr ist ). Die Texte sagen, es ist das gleiche Problem wie die Überschätzung des Standardabweichungsparameters durch seinen Abtastwert. Es gibt viele Formeln, um beobachtetes "anzupassen" $R^2$ $r^2$ $\rho^2$ $r$ $\rho$ $r$ $0$ $\rho$ $R^2$ näher an seinem Populationsparameter, wobei Wherrys (1931) das bekannteste (aber nicht das beste) ist. Die Wurzel eines solchen eingestellten heißt geschrumpftes : $R_\text{adj}^2$ $r_\text{adj}^2$ $r$

r_{shrunk} = \pm \sqrt{1 - (1 - r^{2}) \frac{n - 1}{n - 2}}

$r_\text{shrunk} = \pm\sqrt{1-(1-r^2)\frac{n-1}{n-2}}$

Es gibt zwei verschiedene Schätzer für . Sehr verschieden: das erste aufbläst , die zweite entleert . Wie versöhnt man sie? Wo benutzt / meldet man das eine und wo - das andere? $\rho$ $r$ $r$

Kann es insbesondere zutreffen, dass der "geschrumpfte" Schätzer auch (fast) unvoreingenommen ist, wie der "unbefangene", jedoch nur in einem anderen Kontext - im asymmetrischen Kontext der Regression. Bei der OLS-Regression betrachten wir die Werte einer Seite (des Prädiktors) als fest und nehmen von Stichprobe zu Stichprobe ohne zufälligen Fehler teil. (Und um hier hinzuzufügen, braucht Regression keine bivariate Normalität.)

correlation pearson-r unbiased-estimator estimators point-estimation ttnphns
quelle

Ich frage mich, ob das nur auf Jensens Ungleichung zurückzuführen ist. Das und die bivariate Normalität sind wahrscheinlich in den meisten Fällen eine schlechte Annahme.

Shadowtalker

Mein Verständnis des Problems in B. ist auch, dass die Regression

eine Überschätzung ist, da die Regressionsanpassung durch Hinzufügen von Prädiktoren willkürlich verbessert werden kann. Das hört sich für mich nicht so an wie in A.

r^{2}

$r^2$

shadowtalker

Ist es tatsächlich wahr, dass

eine positiv voreingenommene Schätzung von

für alle Werte von

? Für die bivariate Normalverteilung scheint dies für

groß genug zu sein.

r^{2}

$r^2$

ρ^{2}

$\rho^2$

ρ

$\rho$

ρ

$\rho$

NRH

Kann Bias für das Quadrat eines Schätzers in die entgegengesetzte Richtung gehen? Zum Beispiel mit einem einfacheren Schätzer kann gezeigt werden, dass seine

für einige Bereiche von

? Ich denke, dies wäre schwierig, wenn

, aber vielleicht könnte ein einfacheres Beispiel ausgearbeitet werden.

E [\hat{θ} - θ] < 0 < E [{\hat{θ}}^{2} - θ^{2}]

$E[\hat{\theta}-\theta] < 0 < E[\hat{\theta}^2-\theta^2]$

θ

$\theta$

θ = ρ

$\theta = \rho$

Anthony

Antworten:

Bezüglich der Verzerrung in der Korrelation: Wenn die Stichprobengrößen klein genug sind, um eine Verzerrung von praktischer Bedeutung zu haben (z. B. das von Ihnen vorgeschlagene n <30), ist die Verzerrung wahrscheinlich die geringste Sorge, da die Ungenauigkeit fürchterlich ist.

In Bezug auf die Verzerrung von R ² bei multipler Regression gibt es viele verschiedene Anpassungen, die sich auf eine unverzerrte Populationsschätzung im Vergleich zu einer unverzerrten Schätzung in einer unabhängigen Stichprobe gleicher Größe beziehen. Siehe Yin, P. & Fan, X. (2001). Schätzung der R ² -Schrumpfung bei multipler Regression: Ein Vergleich der Analysemethoden. The Journal of Experimental Education, 69, 203-224.

Moderne Regressionsmethoden befassen sich auch mit der Schrumpfung von Regressionskoeffizienten sowie R ² als Folge davon - z. B. das elastische Netz mit k- facher Kreuzvalidierung, siehe http://web.stanford.edu/~hastie/Papers/ elasticnet.pdf .

Fred Oswald
quelle

Ich weiß nicht, ob dies wirklich die Frage beantwortet

shadowtalker

Ich denke, die Antwort liegt im Kontext einer einfachen Regression und einer multiplen Regression. Bei einer einfachen Regression mit einer IV und einer DV ist R sq nicht positiv vorgespannt und kann sogar negativ vorgespannt sein, wenn r negativ vorgespannt ist. Bei multipler Regression mit mehreren IVs, die selbst korreliert sein können, kann R sq jedoch aufgrund einer möglicherweise auftretenden "Unterdrückung" positiv voreingenommen sein. Ich nehme daher an, dass das beobachtete R2 das entsprechende R-Quadrat der Grundgesamtheit überschätzt, jedoch nur in multipler Regression

Dingus
quelle

R sq is not positively biased, and in-fact may be negatively biasedInteressant. Können Sie es zeigen oder einen Hinweis geben? - Kann die beobachtete Rsq-Statistik in einer bivariaten Normalbevölkerung negativ beeinflusst werden?

TTNPHNS

Ich denke du liegst falsch. Könnten Sie eine Referenz angeben, um Ihren Anspruch zu belegen?

Richard Hardy

Sorry, aber das war eher eine Gedankenübung, daher habe ich keinen Hinweis.

Dingus

Ich habe Kommentar A oben verlassen, in dem Fischer zeigte, dass in einer bivariaten normalen Situation r ein negativ voreingenommener Schätzer von rho ist. Wenn dies der Fall ist, folgt daraus nicht, dass R sq auch negativ vorgespannt ist?

Dingus

Vielleicht hilft dies im Gespräch digitalcommons.unf.edu/cgi/…

Dingus