Sind die meisten veröffentlichten Korrelationen in den Sozialwissenschaften nicht vertrauenswürdig und was ist dagegen zu tun? [geschlossen]

Trotz der wichtigen, aber klatschenden "gotcha" -istischen Bemühungen von Einzelpersonen, die Praktiken räuberischer Zeitschriften aufzudecken , droht eine größere und grundlegendere Bedrohung im Schatten der sozialwissenschaftlichen Forschung ( obwohl es sicherlich mehrere Probleme gibt, mit denen sich Forscher befassen müssen ). Um auf den Punkt zu kommen, können wir nach einer Ansicht möglicherweise nicht auf Korrelationskoeffizienten vertrauen , die aus Stichproben kleiner als 250 abgeleitet wurden .

Es würde schwer fallen, einen Test zu finden, auf den man sich mehr verlassen kann, um auf das Vorhandensein, die Richtung und die Stärke der Assoziation zwischen sozialwissenschaftlichen Maßnahmen als auf den vertrauenswürdigen Korrelationskoeffizienten zu schließen. Es wäre jedoch nicht schwer, von Experten begutachtete Berichte zu finden, die starke Aussagen über die Beziehung zwischen zwei Konstrukten auf der Grundlage von Korrelationskoeffizienten machen, die aus Daten mit weniger als 250 Fällen berechnet wurden.

Wie sollten wir angesichts der aktuellen Replikationskrise in den Sozialwissenschaften (siehe den zweiten Link oben) diesen Bericht über die Stabilisierung von Korrelationskoeffizienten nur bei großen Stichproben (zumindest nach einigen sozialwissenschaftlichen Feldstandards) betrachten? Ist es ein weiterer Riss in der Wand der von Experten geprüften sozialwissenschaftlichen Forschung oder ist es eine relativ triviale Angelegenheit, die in ihrer Präsentation übertrieben wurde?

Da es wahrscheinlich keine einzige richtige Antwort auf diese Frage gibt, hoffe ich, stattdessen einen Thread zu generieren, in dem Ressourcen zu dieser Frage geteilt, nachdenklich überlegt und diskutiert werden können (natürlich höflich und respektvoll).

Das Hinzufügen von Konfidenzintervallen für die geschätzten wahren Korrelationskoeffizienten wäre ein kleiner (und sehr einfacher) erster Schritt in die richtige Richtung. Seine Breite gibt Ihnen sofort einen Eindruck von der Genauigkeit Ihrer Stichprobenkorrelation und ermöglicht es gleichzeitig dem Verfasser und auch dem Publikum, nützliche Hypothesen zu testen . Was mich immer verwirrte, wenn ich mit sozialwissenschaftlichen Statistikern sprach, dass ein absoluter Stichproben-Korrelationskoeffizient über (oder eine andere Grenze) als sinnvoll angesehen wurde. Gleichzeitig testeten sie die Arbeitshypothese$\rho$$L = 0.3$$\rho \ne 0$. Dies ist unwichtig. Warum sollte ein sehr kleiner Populationskorrelationskoeffizient plötzlich als sinnvoll angesehen werden? Die "richtige" Arbeitshypothese wäre . Mit einem Konfidenzintervall für können Hypothesen wie diese leicht getestet werden: Überprüfen Sie einfach, ob das Intervall vollständig über (oder unter ) liegt, und Sie wissen, ob Sie selbst in der Population.$|\rho| > L$$\rho$$L$$-L$

Nur ein Konfidenzintervall hinzuzufügen und aussagekräftige Tests zu verwenden, löst natürlich nicht allzu viele Probleme (wie schlechte Stichprobenentwürfe, ausgelassene Berücksichtigung von Störfaktoren usw.). Aber es ist grundsätzlich kostenlos. Ich denke sogar SPSS kann sie berechnen!

Wie Michael M feststellt , kann die Vertrauenswürdigkeit gemeldeter Korrelationen - oder anderer Schätzungen - anhand von Konfidenzintervallen bewertet werden. Bis zu einem gewissen Grad. CIs werden zu eng sein, wenn Modelle nach der Datenerfassung ausgewählt wurden, was meiner Schätzung nach in 95% der Fälle in den Sozialwissenschaften vorkommt (was ich ehrlich gesagt als eine vollständige Vermutung von mir bezeichnen werde).

Das Mittel ist zweifach:

• Wir sprechen von einer " Reproduzierbarkeitskrise ". Fehlgeschlagene Replikationen weisen uns daher darauf hin, dass der ursprüngliche Effekt wahrscheinlich nur zufälliges Rauschen war. Wir müssen mehr Replikationen durchführen (und finanzieren, schreiben, einreichen und akzeptieren). Replikationsstudien gewinnen langsam an Ansehen, und das ist gut so.

• Das zweite Mittel ist natürlich die Metaanalyse . Wenn wir viele gemeldete Korrelationen ähnlicher Daten haben, selbst wenn jede einzelne von ihnen ein niedriges , können wir die Informationen bündeln und etwas lernen. Im Idealfall können wir dabei sogar Publikationsverzerrungen feststellen .$n$