Was ist eine unvoreingenommene Schätzung der Bevölkerung R-Quadrat?

Ich bin daran interessiert, eine unvoreingenommene Schätzung von in einer multiplen linearen Regression zu erhalten. $R^2$

Bei der Reflexion kann ich mir zwei verschiedene Werte vorstellen, mit denen eine unvoreingenommene Schätzung von übereinstimmen könnte. $R^2$

Out of sample : $R^2$ das r-Quadrat, das erhalten würde, wenn die aus der Stichprobe erhaltene Regressionsgleichung (dh ) auf eine unendliche Datenmenge außerhalb der Stichprobe angewendet würde, jedoch aus denselben Daten Erzeugungsprozess. $\hat{\beta}$
Population : $R^2$ Das r-Quadrat, das erhalten würde, wenn eine unendliche Stichprobe erhalten und das Modell an diese unendliche Stichprobe angepasst würde (dh ), oder alternativ nur das R-Quadrat, das durch den bekannten Datenerzeugungsprozess impliziert wird. $\beta$

Ich verstehe, dass das eingestellte $R^2$ so ausgelegt ist, dass es die in Probe beobachtete Überanpassung ausgleicht . Nichtsdestotrotz ist nicht klar, ob angepasstes tatsächlich eine unvoreingenommene Schätzung von , und wenn es eine unvoreingenommene Schätzung ist, welche der obigen zwei Definitionen von geschätzt werden soll. $R^2$ $R^2$ $R^2$ $R^2$

Also meine Fragen:

Was ist eine unvoreingenommene Schätzung dessen, was ich oben aus Probe nenne ? $R^2$
Was ist eine unvoreingenommene Schätzung dessen, was ich über der Population nenne ? $R^2$
Gibt es Referenzen, die die Unparteilichkeit simulieren oder auf andere Weise belegen?

estimation multiple-regression r-squared bias Jeromy Anglim
quelle

Die Frage, welche Formel für adj. R ^ 2 ist weniger voreingenommen, wurde zB hier angehoben .

ttnphns

Vielen Dank. Ich lese jetzt die Referenz, die Sie erwähnen: Yin, P. & Fan, X. (2001). Schätzung der

-Schrumpfung bei multipler Regression: Ein Vergleich verschiedener Analysemethoden. The Journal of Experimental Education, 69 (2), 203-224.

R^{2}

$R^2$

Jeromy Anglim

Antworten:

Auswertung der analytischen Anpassungen an R-Quadrat

@ttnphns verwies mich auf den Artikel von Yin und Fan (2001), in dem verschiedene analytische Methoden zur Schätzung von verglichen werden . Gemäß meiner Frage unterscheiden sie zwischen zwei Arten von Schätzern. Sie verwenden die folgende Terminologie: $R^2$

: Schätzer des multiplen Korrelationskoeffizienten der quadratischen Grundgesamtheit $\rho^2$
: Schätzer des Kreuzvaliditätskoeffizienten der quadratischen Grundgesamtheit $\rho_c^2$

Ihre Ergebnisse sind in der Zusammenfassung zusammengefasst:

$R^2$ $\rho^2$ $\rho^2$ $\rho_c^2$

$\rho^2$

{\hat{R}}^{2} = 1 - \frac{(N - 3) (1 - R^{2})}{(N - p - 1)} [1 + \frac{2 (1 - R^{2})}{N - p - 2.3}]

$\hat{R}^2=1 - \frac{(N-3)(1 - R^2)}{(N-p-1)} \left[ 1 + \frac{2(1-R^2)}{N-p-2.3} \right]$

Dabei ist N die Stichprobengröße und p die Anzahl der Prädiktoren.

Empirische Schätzungen zur Anpassung des R-Quadrats

$R^2$ $\rho^2$ $\rho_c^2$ $\rho^2$

Verweise

Kromrey, JD & amp; Hines, CV (1995). Verwendung empirischer Schätzungen der Schrumpfung bei multipler Regression: Vorsicht. Educational and Psychological Measurement, 55 (6), 901-925.
$R^2$

Jeromy Anglim
quelle