Gibt es ein Problem mit mehreren Tests, wenn t-Tests für mehrere Koeffizienten in linearer Regression durchgeführt werden?

Diese Frage stammt aus einer Diskussion über den jüngsten Beitrag von @rvl. Es liegt alles in der Familie. Aber schließen wir auch die Schwiegereltern ein?

Hier ist ein häufiges Szenario, das ich schon oft gesehen habe. Ein Forscher führt eine einfache lineare Regression mit beispielsweise 5 Kovariaten durch.

lm(Y ~ X1 + X2 + X3 + X4 + X5, data = df)

Interaktionseffekte für den Moment ignorieren. Sie führen die Zusammenfassung der Regression aus und beachten Folgendes:

      Estimate      Pr(>|t|)
X1    a            0.10
X2    b            0.47
X3    c            0.04            
X4    d            0.38
X5    e            0.12

Daraus schließen sie, dass die Kovariate X3ein signifikanter Prädiktor für das Ergebnis ist Y. Ich habe das schon oft gesehen.

Meine Frage ist, warum wir diese Werte nicht für mehrere Vergleiche anpassen müssen . Führen wir nicht 5 Tests gleichzeitig durch, obwohl es sich um Kovariaten handelt, wodurch sich die Wahrscheinlichkeit erhöht, dass ein falsches Positiv angezeigt wird? Unter der Annahme von 5 völlig unabhängigen Tests würde eine Wahrscheinlichkeit von oder 23% bestehen, ein falsches Positiv zu sehen, anstatt der üblichen 5%, dies ist jedoch der In der Berichterstattung des "bedeutenden Vereins" ist kein Weg angegeben.$P$$1-(1-\alpha)^M = 1-0.95^5 \sim 0.23$

Dieser Artikel aus der Frage Ist das Anpassen von p-Werten in einer multiplen Regression für mehrere Vergleiche eine gute Idee? scheint darauf hinzudeuten, dass es bei einer schrittweisen Modellauswahl vorteilhaft ist, die Werte Ihrer Kovariaten zu korrigieren , um die erhöhte Typ-1-Fehlerrate zu berücksichtigen. Dies scheint darauf hinzudeuten, dass Testkovariaten nicht anders wirken als übliche Tests.$P$

Hat jemand irgendwelche Erfahrungen damit gemacht? Ich würde gerne Fehler in meiner Logik oder Gründe hören, warum dies nicht getan werden sollte.

Für das Problem mit mehreren Tests kann es sinnvoll sein, einen Blick auf die familienbezogene Fehlergrenze zu werfen : Führt die Wiederverwendung von Datensätzen für verschiedene Studien unabhängiger Fragen zu mehreren Testproblemen? .

Wenn Sie in Ihrem obigen Beispiel eine Regression für eine Stichprobe schätzen, können Sie mit einem t-Test nur über die Signifikanz eines einzelnen Koeffizienten entscheiden. Ja, es gibt also ein Problem mit mehreren Tests, wenn Sie Schlussfolgerungen für mehrere Koeffizienten ziehen , basierend auf mehreren t-Tests.

Nennen wir die Koeffizienten , dann können Sie testen gegen mit a t-Test und schließen Sie, dass signifikant ist. Beachten Sie, dass Sie, wenn Sie nicht ablehnen können, nicht schließen können, dass Null ist (siehe Was folgt, wenn wir die Nullhypothese nicht ablehnen? ).$\beta_i, i = 1, 2, \dots 5$$H_0^{(1)}: \beta_1 = 0$$H_1^{(1)}: \beta_1 \ne 0$$\beta_1$$H_0^{(1)}$$\beta_1$

Wenn Sie also statistische Beweise dafür finden möchten, dass nicht Null ist, muss Ihr der Ausdruck sein, den Sie 'beweisen' möchten, dh und dann ist das Gegenteil, dh . Wenn Sie davon ausgehen, dass wahr ist (um einen statistischen Widerspruch abzuleiten), haben Sie einen festen Wert für den Parameter und daraus folgt, dass Sie die Verteilung des Schätzers (siehe Theorie zur linearen Regression) und Sie können p-Werte berechnen. $\beta_1$$H_1^{(1)}$$H_1^{(1)}: \beta_1 \ne 0$$H_0^{(1)}$$\beta_1=0$$H_0^{(1)}$$\beta_1=0$$\hat{\beta}_1$

Nehmen wir nun den Fall, in dem Sie zeigen möchten, dass , dann muss dies Ihr und das entgegengesetzte ist, dass entweder , da dort ein ' oder ' steht, Sie nicht alle Parameter der kombinierten Verteilung von !$(\beta_1 \ne 0 \text{ and } \beta_2 \ne 0)$$H_1^{(1,2)}$$H_0^{(1,2)}$$(\beta_1 = 0 \text{ or } \beta_2 = 0)$$(\hat{\beta}_1, \hat{\beta}_2)$

Können Sie mehrere Testverfahren anwenden? Die meisten von ihnen gehen davon aus, dass die einzelnen p-Werte unabhängig sind, in diesem Beispiel und kann nicht unabhängig sein angezeigt!$\hat{\beta}_1$$\hat{\beta}_2$

In einem fortgeschrittenen Buch über Ökonometrie (z. B. WH Greene, "Econometric Analysis") finden Sie jedoch einen geeigneten Test für J (simultane) lineare Einschränkungen ( ist eine Besonderheit Typ von 5 linearen Einschränkungen), die das Problem der mehrfachen Tests vermeiden.$\beta_i=0, i=1,2,3,4,5$

Es kann einige zusätzliche Aspekte geben, die berücksichtigt werden sollten (die für einen Kommentar etwas zu lang sind).

1. Ob es in einer bestimmten Anwendung ein Problem mit mehreren Tests gibt oder nicht, hängt stark davon ab, welche Koeffizienten ein Forscher betrachtet. In vielen Anwendungen interessiert sich einer nur für 1-2 Schlüsselvariablen und die anderen dienen nur als "Steuerelemente". Angenommen, in einem Datenmodell des Panels mit festen Effekten haben wir möglicherweise das Gefühl, dass wir individuelle spezifische Abschnitte benötigen, um die unbeobachtete Heterogenität zu kontrollieren, aber wir sind normalerweise nicht wirklich an diesen festen Effekten an sich interessiert . Andererseits sichten wir beispielsweise in der Wachstumsökonometrie alle möglichen Determinanten für das Wachstum und sind daher bereit, alle wesentlichen Variablen zu betrachten. Im letzteren Fall haben wir ein Problem mit mehreren Tests, aber nicht unbedingt im ersteren.$N$

2. Ich würde argumentieren, dass es in der Tat mehrere leistungsstarke (zumindest leistungsstärkere als Bonferroni) Alternativen für die Durchführung einer solchen Modellauswahlübung gibt. Dazu gehören die Bayes'sche Modellmittelung, die Analyse extremer Grenzen, allgemeine bis spezifische, bestrafte Methoden (Lasso und verwandte Methoden) sowie Methoden, die direkt aus der Literatur zu mehreren Tests stammen. Die letztere Gruppe umfasst klassische Methoden, die auf der Benjamini-Hochberg-Methode basieren, aber auch neuere Bootstrap-basierte Methoden. Um eine schamlose Eigenwerbung zu betreiben, werden diese verglichen und in einem meiner Papiere angewendet .