Wie kann man zwischen den verschiedenen angepassten Formeln wählen ?

Ich denke an die angepassten R-Quadrat-Formeln, die vorgeschlagen werden von:

• Ezekiel (1930), von dem ich glaube, dass er derzeit in SPSS verwendet wird.

  $$R^2_{\rm adjusted} = 1 - \frac{(N-1)}{(N-p-1)} (1-R^2)$$

• Olkin und Pratt

  $$R^2_{\rm unbiased} = 1 - \frac{(N-3)(1-R^2)}{(N-p-1)} - \frac{2(N-3)(1-R^2)^2}{(N-p-1)(N-p+1)}$$

Unter welchen Umständen (falls vorhanden) sollte ich es vorziehen, 'angepasst' zu 'unvoreingenommen' zu machen ?$R^2$

Verweise

1. Ezekiel, M. (1930). Methoden der Korrelationsanalyse . John Wiley und Söhne, New York.
2. Olkin I., Pratt JW (1958). Unvoreingenommene Schätzung bestimmter Korrelationskoeffizienten. Annals of Mathematical Statistics , 29 (1), 201-211.

Ohne die Antwort von @ttnphns würdigen zu wollen, wollte ich die Antwort aus den Kommentaren entfernen (insbesondere in Anbetracht der Tatsache, dass der Link zum Artikel gestorben war). Die Antwort von Matt Krause bietet eine nützliche Diskussion der Unterscheidung zwischen und , erörtert jedoch nicht die Entscheidung, welche -Formel in einem bestimmten Fall zu verwenden ist.R 2 a d j R 2 a d $R^2$$R^2_{adj}$$R^2_{adj}$

Wie ich in besprechen diese Antwort , Yin und Fan (2001) Varianz einen guten Überblick über die vielen verschiedenen Formeln sorgen für die Schätzung Bevölkerung erklärt , von denen alle potentiell eine Art eingestellt bezeichnen könnte .R $\rho^2$$R^2$

Sie führen eine Simulation durch, um zu bestimmen, welche einer Vielzahl von angepassten R-Quadrat-Formeln die beste unverzerrte Schätzung für verschiedene Stichprobengrößen, und Prädiktor-Interkorrelationen liefert. Sie schlagen vor, dass die Pratt-Formel eine gute Option sein könnte, aber ich glaube nicht, dass die Studie in dieser Angelegenheit endgültig war.$\rho^2$

Update: Raju et al. (1997) stellen fest, dass sich angepasste Formeln unterscheiden, je nachdem, ob sie für die Schätzung angepasster Annahme von Fixed-x- oder Random-x-Prädikatoren ausgelegt sind. Insbesondere ist die Ezekial-Formel so konzipiert, dass im Kontext mit festem x geschätzt wird , und die Olkin-Pratt- und Pratt-Formeln sind so konzipiert, dass im Kontext mit zufälligem x geschätzt wird . Es gibt keinen großen Unterschied zwischen den Olkin-Pratt- und Pratt-Formeln. Fixed-x-Annahmen stimmen mit geplanten Experimenten überein, Random-x-Annahmen stimmen mit der Annahme überein, dass die Werte der Prädiktorvariablen eine Stichprobe möglicher Werte sind, wie dies in Beobachtungsstudien normalerweise der Fall ist. Weitere Informationen finden Sie in dieser AntwortR 2 ρ 2 ρ $R^2$$R^2$$\rho^2$$\rho^2$. Es gibt auch keinen großen Unterschied zwischen den beiden Formeltypen, da die Stichprobengröße mäßig groß wird (siehe hier für eine Erläuterung der Größe des Unterschieds ).

Zusammenfassung der Faustregeln

• Wenn Sie davon ausgehen, dass Ihre Beobachtungen für Prädiktorvariablen eine Zufallsstichprobe aus einer Population sind und Sie für die Gesamtpopulation von Prädiktoren und Kriterium (dh Zufalls-x-Annahme) schätzen möchten, verwenden Sie die Olkin-Pratt-Formel (oder die Pratt-Formel).$\rho^2$
• Wenn Sie davon ausgehen, dass Ihre Beobachtungen festgelegt sind oder Sie nicht über Ihre beobachteten Niveaus des Prädiktors hinaus verallgemeinern möchten, dann schätzen Sie mit der Ezekiel-Formel.$\rho^2$
• Wenn Sie mithilfe der Stichprobenregressionsgleichung wissen möchten, dass die Stichprobenvorhersage nicht funktioniert, sollten Sie sich mit einer Art Kreuzvalidierungsverfahren befassen.

Verweise

• Raju, NS, Bilgic, R., Edwards, JE & Fleer, PF (1997). Methodenüberprüfung: Schätzung der Populationsvalidität und Kreuzvalidität sowie Verwendung gleicher Gewichte bei der Vorhersage. Applied Psychological Measurement, 21 (4), 291-305.
• Yin, P. & Fan, X. (2001). Schätzung der Schrumpfung bei multipler Regression: Ein Vergleich verschiedener Analysemethoden. The Journal of Experimental Education, 69 (2), 203-224. PDF$R^2$

Die Wahl von oder angepasstem hängt davon ab, was Sie tun möchten. In einem Regressionskontext wird reguläres als Maß für die Anpassungsgüte für Ihr Modell verwendet. Stellen Sie sich jedoch vor, Sie vergleichen mehrere Modelle mit einer unterschiedlichen Anzahl von Parametern. Wenn alle Dinge gleich sind, passt das Modell mit mehr Parametern besser zu Ihrer Beobachtung. Im Grenzfall könnten Sie ein Modell mit Parametern für jeden Datenpunkt außer einem haben. Dies würde Ihnen eine perfekte Anpassung an Ihre Beobachtungen ermöglichen, wäre jedoch für eine neue Vorhersage unbrauchbar, da es sowohl das zugrunde liegende "Signal" als auch das damit verbundene Rauschen erfasst. Adjusted ist ein Versuch, dieses Problem durch Einstellen des zu lösen$R^2$$R^2$$R^2$$R^2$$R^2$ Wert entsprechend der Anzahl der Parameter im Modell.

Sie haben daher leicht unterschiedliche Zwecke. beschreibt, wie gut unterschiedliche Datensätze zu einem Modell passen. Sie schreiben vielleicht etwas wie "Das oben beschriebene Modell sagt die Leistung von Teil A ( = 0,9) genau voraus , aber nicht Widget B ( = 0,05) unter Standardtestbedingungen." Adjusted beschreibt, wie gut verschiedene Modelle zu denselben Daten (oder ähnlichen Daten) passen. Beispiel: "Die Ergebnisse des Kurz- und Langfragebogens haben die jährlichen Ausgaben des Kunden gleichermaßen gut vorhergesagt (Bereinigter = 0,8 für beide)."$R^2$$r^2$$r^2$$R^2$$R^2$