Warum werden irrelevante Regressoren in großen Stichproben statistisch signifikant?

8

Ich versuche, statistische Signifikanz, Effektgrößen und dergleichen besser zu verstehen.

Ich habe die Auffassung (vielleicht ist es falsch), dass selbst irrelevante Regressoren in großen Stichproben häufig statistisch signifikant werden . Mit irrelevant meine ich, dass es keine sachliche Erklärung gibt, warum der Regressor mit der abhängigen Variablen in Beziehung gesetzt werden sollte. Daher ist die Irrelevanz in diesem Beitrag ein reines thematisches Konzept und kein statistisches.

Ich weiß, dass ein Regressor bei einer ausreichend großen Stichprobe statistisch signifikant ist, es sei denn, der Populationseffekt ist genau Null (wie hier diskutiert ). Daher hat ein irrelevanter Regressor, der in einer großen Stichprobe statistisch signifikant erscheint, eine Effektgröße ungleich Null in der Population.

Fragen:

  1. Wie kommt es, dass ein irrelevanter Regressor statistisch signifikant ist?
  2. Sollte ich nach einer Erklärung des Themas suchen (dh versuchen, die Irrelevanz zu leugnen) oder ist dies ein statistisches Phänomen?

Dies ist eine Fortsetzung eines Beitrags, in dem ich versucht habe zu klären, wie dieser Effekt geheilt werden kann. In der Zwischenzeit frage ich hier, warum es überhaupt passiert.

Richard Hardy
quelle
Dies scheint immer noch Ihren vorherigen Beitrag zu duplizieren, der selbst bereits beantwortet wurde. Eine Antwort auf das Duplikat dieses Beitrags lautet: "p-Werte sind willkürlich, da Sie sie so klein machen können, wie Sie möchten, indem Sie genügend Daten sammeln." Spricht das nicht sowohl # 1 als auch # 2 an?
whuber
1
Danke @whuber. Ich habe versucht klar zu machen, dass dieser Beitrag eine neue, andere Frage behandelt. Ich verstehe bereits, was passiert, wenn es tatsächlich einen Effekt in der Bevölkerung gibt (das Thema des anderen Beitrags und eines älteren Beitrags, den es dupliziert). Meine Fragen hier sind: (i) ist der Grund für die häufige statistische Signifikanz von scheinbar irrelevanten Regressoren immer gleich, dh dass es tatsächlich einen Bevölkerungseffekt gibt; (ii) wenn nicht, was sind dann die alternativen Gründe; (iii) Wenn ja, dann sind die Auswirkungen in der Bevölkerung am häufigsten auf den Gegenstand oder den Zufall zurückzuführen. Ich hoffe das macht es klarer.
Richard Hardy

Antworten:

9

Fragen:

Wie kommt es, dass ein irrelevanter Regressor statistisch signifikant ist?

Ich denke, es ist hilfreich darüber nachzudenken, was passiert, wenn sich Ihre Stichprobengröße der Population selbst nähert. Signifikanztests sollen Ihnen eine Vorstellung davon geben, ob in der Bevölkerung kein Effekt vorliegt. Dies ist der Grund, warum Signifikanztests bei der Arbeit mit Volkszählungsdaten (die die Bevölkerung erfassen) bedeutungslos sind (denn auf was möchten Sie verallgemeinern?).

Was bedeutet in diesem Sinne "eine Auswirkung auf die Bevölkerung"? Es bedeutet einfach jede Beziehung zwischen Variablen in der Bevölkerung, unabhängig davon, wie klein sie ist (sei es ein Unterschied von 1 Punkt oder 1 Person), selbst wenn diese Beziehung auf Zufall und Zufälligkeit im Universum zurückzuführen ist.

Wenn sich Ihre Stichprobe der Größe der Population nähert, werden Signifikanztests immer weniger aussagekräftig, da jeder Unterschied "statistisch signifikant" ist. Was Sie dann mehr interessiert, ist die Effektgröße - analog zu "praktisch signifikant".

Sollte ich nach einer Erklärung des Themas suchen (dh versuchen, die Irrelevanz zu leugnen) oder ist dies ein statistisches Phänomen?

Es ist ein Phänomen - Sie sollten sich die Effektgrößen ansehen.

QxV
quelle
Sie erwähnen etwas, nach dem ich intuitiv gesucht habe, das ich aber nicht erfolgreich formuliert habe. Der Effekt in der Bevölkerung kann eine beliebige Beziehung zwischen Variablen in der Bevölkerung sein, unabhängig davon, wie klein sie ist (sei es ein Unterschied von 1 Punkt oder 1 Person), selbst wenn diese Beziehung auf Zufall und Zufälligkeit im Universum zurückzuführen ist. Wenn diese Effekte zufällig sind, brauche ich keine sachliche Erklärung zu suchen. Vielen Dank!
Richard Hardy
Übrigens ist Ihr Argument intuitiv sinnvoll, wenn man z. B. die Gleichheit der Mittel testet oder wenn der Behandlungseffekt genau Null ist. Aber was ist mit der Bedeutung von Regressoren in einer multiplen Regression? Könnten Sie vielleicht Ihren Standpunkt in einem Regressionskontext darlegen, damit ich leichter folgen kann?
Richard Hardy
1
Hmm, ich denke die Analogie ist direkt relevant. Wenn Sie sich beispielsweise vorstellen, dass der Schokoladenkonsum nach Bereinigung um Kontrollvariablen wie Bewegungsumfang usw. keinen Einfluss auf die Lebenserwartung hat, aber eine Person in der Bevölkerung von 6 Milliarden Menschen zufällig ein Ausreißer ist, wird es eine Bevölkerung geben. " Wirkung "des Schokoladenkonsums auf die Lebenserwartung, aber die Größe der Wirkung wird winzig sein. Hoffentlich war dieses Beispiel hilfreich, aber ich hatte Probleme zu überlegen, wie sich ein Regressionskoeffizient von anderen Parametern unterscheiden würde.
QxV
3
Ich bin etwas verwirrt darüber, warum Signifikanztests bedeutungslos sein sollten, wenn Sie die gesamte "Bevölkerung" befragen (wenn Sie mit Bevölkerung die tatsächliche Bevölkerung meinen). Wenn ich etwas über Menschen testen möchte und meine Stichprobe alle 7 Milliarden Menschen umfasst, kann ich sicherlich immer noch einen Signifikanztest durchführen, der die Nullhypothese möglicherweise ablehnt oder nicht ablehnt. Ich verstehe nicht, warum es konzeptionell bedeutungslos sein sollte. Die von Ihnen erwähnte "Verallgemeinerung" kann sich zB auf zukünftige Generationen oder so beziehen. (CC @ Richard.)
Amöbe
1
@amoeba: Ich denke, statistische Signifikanztests sind nur für eine Stichprobe sinnvoll, nicht für eine Population. Sobald wir die gesamte Population beobachtet haben, ist unser gesamtes Wissen perfekt: Es gibt keine Unsicherheit bei der Parameterschätzung oder dergleichen. Wir können jede Beziehung genau messen. (Das bedeutet nicht, dass wir für alle Beziehungen eine perfekte thematische Erklärung haben werden, aber das ist nicht der Punkt.) Wenn Sie auf zukünftige Generationen verallgemeinern, macht dies die aktuelle Bevölkerung implizit nur zu einer Stichprobe aus der {aktuellen + zukünftigen} Population. Dann ist die statistische Signifikanzprüfung wieder im Spiel.
Richard Hardy
2

Selbst wenn sich Ihre Stichprobengröße nicht Ihrer Population nähert, werden winzige Effekte bei großen Stichproben signifikant. Dies ist eine Folge dessen, was statistische Signifikanz bedeutet:

Wenn in der Population, aus der diese Stichprobe entnommen wurde, die Nullhypothese zutrifft, ist es dann (XX%) wahrscheinlich, dass wir in einer Stichprobe der Größe, die wir haben, eine mindestens so große Teststatistik erhalten?

Wenn sich Ihre Frage auf alle Menschen auf der Erde bezieht, sind bei einer Stichprobe von 1.000.000 (nicht annähernd 7.000.000.000) sogar sehr kleine Effekte von Bedeutung, da es sehr unwahrscheinlich ist, dass solche Teststatistiken in großen Stichproben gefunden werden, wenn die Null wahr ist .

Es gibt viele Probleme mit Signifikanztests, die an vielen Stellen diskutiert werden. Dies ist einer von ihnen. Die "Heilung" besteht darin, Effektgrößen und Konfidenzintervalle zu betrachten.

Peter Flom
quelle
1
Vielen Dank! Ich glaube, ich verstehe den Mechanismus, wie diese winzigen Effekte bei einer ausreichend großen Stichprobe zu statistisch signifikanten Effekten werden. Die Kernfrage ist, warum diese winzigen Effekte zunächst in der Bevölkerung vorhanden sind. Entstehen sie hauptsächlich durch "Zufälligkeit im Universum"? Oder stellen sie einige tatsächliche Subjekt-Beziehungen dar (nicht zufällig), die wir vernachlässigen, wenn wir sie aus der Sicht des Subjekts betrachten?
Richard Hardy
4
Letzteres würde ich sagen.
Ben Bolker
@ BenBolker Könnten Sie bitte einige Gründe angeben? Das könnte sehr hilfreich sein.
Richard Hardy
3
Ich stimme Ben zu. Fast zwei beliebige Variablen werden bis zu einem gewissen Grad miteinander verbunden sein. und diejenigen, die wir in Modelle stecken, sind viel wahrscheinlicher verwandt. Wir werfen (und sollten) nicht einfach Müll in Modelle.
Peter Flom
2

Ich habe einige Erkenntnisse von @QxV ausgeliehen, um das Vorhandensein eines Bevölkerungseffekts zu erklären, auch wenn das Fachwissen keinen solchen Effekt nahe legt.

yxyxyrealizedxrealizedP(yrealizedxrealized)=0

Sobald ein Populationseffekt vorliegt, ist es eine Frage der Stichprobengröße, wann wir ihn in der Stichprobe erkennen und wann er statistisch signifikant wird.

Richard Hardy
quelle
2

Zusätzlich zu den bereits veröffentlichten hervorragenden Antworten werde ich es aus einem anderen Blickwinkel versuchen. Alle Modelle sind in gewissem Sinne Näherungswerte ... Sehen Sie sich ein Regressionsmodell an, und eine irrelevante Variable ist von Bedeutung. Was kann das erklären?

  1. Vielleicht ist es einfach nicht irrelevant, dass der heutige wissenschaftliche Konsens in dieser Angelegenheit einfach falsch ist . Abgesehen davon:

  2. Dies kann ein Ersatz oder ein Proxy für eine ausgelassene Variable sein, die relevant ist und mit der irrelevanten Variablen korreliert.

  3. Einige relevante Variablen, die linear im Modell enthalten sind, können nicht linear wirken, und Ihre irrelevante Variable kann ein Ersatz für diesen Teil der relevanten Variablen sein.

  4. Eine gewisse Interaktion zwischen zwei relevanten Variablen ist wichtig, aber nicht im Modell enthalten. Ihre irrelevante Variable könnte ein Ersatz für diese ausgelassene Interaktion sein.

  5. Die irrelevante Variable könnte nur sehr stark mit einer wichtigen Variablen korreliert sein, was zu negativ korrelierten Koeffizienten führt. Dies kann insbesondere dann wichtig sein, wenn diese Variablen Messfehler enthalten.

  6. Es könnte einige Beobachtungen mit sehr hoher Hebelwirkung geben, die zu seltsamen Schätzungen führen.

Sicherlich andere ... ein wichtiger Punkt ist, dass ein lineares Regressionsmodell eine sehr gute Annäherung an eine kleine Stichprobe sein könnte, nur große Effekte sind signifikant. Eine größere Stichprobe führt zwar zu einer geringeren Varianz, kann jedoch die Verzerrung aufgrund von Annäherungen nicht verringern . Bei größeren Stichproben werden diese Unzulänglichkeiten des Modells offensichtlich und dominieren schließlich die Varianz.

kjetil b halvorsen
quelle
-1

Nein. Irrelevante Regressoren werden mit zunehmender Stichprobengröße statistisch nicht signifikant. Versuchen Sie den folgenden Code in R.

y <- rnorm (10000000)

x <- rnorm (10000000)

Zusammenfassung (lm (y ~ x))

David
quelle
1
Haben Sie diesen Code beispielsweise 1000 Mal (oder öfter) wiederholt und gesehen, was passieren wird?
kjetil b halvorsen
Sie haben erwartungsgemäß eine 5% ige Falsch-Positiv-Rate. Aber das gleiche wird unabhängig von der Stichprobengröße erhalten
David
Siehe meine Antwort für einen anderen Standpunkt
kjetil b halvorsen
Ich verstehe Ihren Beitrag, und für "Art von linearen" Beziehungen ist es wahr (wie für "tatsächlich lineare" Beziehungen). Wenn Sie jedoch 10000000 für 10 in meinem Code ändern, ist es jetzt nicht weniger wahrscheinlich, dass Sie diese erhalten ein falsches positives im F-Test
David
Vielen Dank für Ihre Antwort! Obwohl es für sich genommen richtig ist, denke ich, dass es den Punkt der Frage verfehlt. Die Frage wird durch die Beobachtung motiviert, dass wir häufig statistisch signifikante Zusammenhänge finden, die keine thematische Erklärung haben.
Richard Hardy