Ich arbeite mit einem Datensatz mit N rund 200.000. In Regressionen sehe ich sehr kleine Signifikanzwerte << 0.001, die mit sehr kleinen Effektgrößen verbunden sind, z. B. r = 0.028. Was ich gerne wissen würde, gibt es eine grundsätzliche Möglichkeit, eine angemessene Signifikanzschwelle in Bezug auf die Stichprobengröße zu bestimmen? Gibt es noch andere wichtige Überlegungen zur Interpretation der Effektgröße bei einer so großen Stichprobe?
regression
probability
statistical-significance
sample-size
ted.strauss
quelle
quelle
Antworten:
In The Insignificance of Significance Testing stellte Johnson (1999) fest, dass p-Werte willkürlich sind, indem Sie sie durch Sammeln von genügend Daten so klein machen können, wie Sie möchten, vorausgesetzt, die Nullhypothese ist falsch, was es fast immer ist. In der realen Welt ist es unwahrscheinlich, dass es semi-partielle Korrelationen gibt, die genau null sind. Dies ist die Nullhypothese beim Testen der Signifikanz eines Regressionskoeffizienten. P-Wert Signifikanzgrenzen sind noch beliebiger. Der Wert von .05 als Grenzwert zwischen Signifikanz und Nicht-Signifikanz wird nicht prinzipiell, sondern konventionell verwendet. Die Antwort auf Ihre erste Frage lautet also Nein. Es gibt keine grundsätzliche Möglichkeit, eine angemessene Signifikanzschwelle festzulegen.
Was können Sie angesichts Ihres großen Datenbestands tun? Dies hängt von Ihren Gründen für die Untersuchung der statistischen Signifikanz Ihrer Regressionskoeffizienten ab. Versuchen Sie, ein komplexes multifaktorielles System zu modellieren und eine nützliche Theorie zu entwickeln, die der Realität angemessen entspricht oder diese vorhersagt? Dann könnten Sie vielleicht darüber nachdenken, ein ausgefeilteres Modell zu entwickeln und eine Modellierungsperspektive zu entwickeln, wie in Rodgers (2010), The Epistemology of Mathematical And Statistical Modeling (The Epistemology of Mathematical And Statistical Modeling) beschrieben . Ein Vorteil vieler Daten besteht darin, dass Sie sehr umfangreiche Modelle mit mehreren Ebenen und interessanten Interaktionen untersuchen können (vorausgesetzt, Sie haben die entsprechenden Variablen).
Wenn Sie andererseits ein Urteil darüber abgeben möchten, ob ein bestimmter Koeffizient als statistisch signifikant behandelt werden soll oder nicht, möchten Sie möglicherweise den Vorschlag von Good (1982) übernehmen, wie in Woolley (2003) zusammengefasst : Berechnen Sie den q-Wert als die p-Werte auf eine Stichprobengröße von 100 normiert. Ein p-Wert von genau 0,001 wird in einen p-Wert von 0,045 umgewandelt - statistisch immer noch signifikant.p⋅(n/100)−−−−−−√
Also, wenn es wichtig ist, einen beliebigen Schwellenwert oder einen anderen zu verwenden, was ist damit? Wenn es sich um eine Beobachtungsstudie handelt, müssen Sie viel mehr rechtfertigen, dass sie in der Art und Weise, wie Sie denken, tatsächlich von Bedeutung ist, und nicht nur eine falsche Beziehung, die auftaucht, weil Sie Ihr Modell falsch spezifiziert haben. Beachten Sie, dass ein kleiner Effekt klinisch nicht so interessant ist, wenn er bestehende Unterschiede zwischen Personen darstellt, die sich für unterschiedliche Behandlungsebenen entscheiden, anstatt für einen Behandlungseffekt.
Sie müssen sich überlegen, ob die Beziehung, die Sie sehen, praktisch signifikant ist, wie Kommentatoren festgestellt haben. Die Umrechnung der Zahlen, die Sie für die erklärte Varianz von in r 2 zitieren ( r ist Korrelation, Quadrat, um die erklärte Varianz zu erhalten), ergibt nur 3% bzw. 6% Varianz, was nicht viel zu sein scheint.r r2 r
quelle
Ich denke, eine einfache Möglichkeit, dies zu überprüfen, besteht darin, eine ähnlich große Zahl zufällig aus einer Verteilung auszuwählen, von der Sie wissen, dass sie zweimal verteilt ist, und die beiden Ergebnisse zu vergleichen. Wenn Sie dies mehrmals tun und ähnliche p-Werte beobachten, deutet dies darauf hin, dass es keine wirklichen Auswirkungen gibt. Wenn Sie es andererseits nicht tun, dann ist es wahrscheinlich so.
quelle