Was ist die Nullhypothese für die einzelnen p-Werte bei multipler Regression?

Ich habe ein lineares Regressionsmodell für eine abhängige Variable $Y$ basierend auf zwei unabhängigen Variablen, $X1$ und $X2$ Ich habe also eine allgemeine Form einer Regressionsgleichung

$Y = A + B_1 \cdot X_1 + B_2 \cdot X_2 + \epsilon$ ,

wo $A$ ist der Achsenabschnitt, $\epsilon$ ist der Fehlerbegriff und $B_1$ und $B_2$ sind die jeweiligen Koeffizienten von $X_1$ und $X_2$ . Ich führe eine multiple Regression mit Software durch (Statistikmodell in Python) und erhalte Koeffizienten für das Modell: $A = a, B_1 = b_1, B_2 = b_2$ . Das Modell gibt mir auch $p$ Werte für jeden Koeffizienten: $p_a$ , $p_1$ , und $p_2$ . Meine Frage ist: Was ist die Nullhypothese für diese Person? $p$ Werte? Zum Beispiel zu erhalten $p_1$ Ich weiß, dass die Nullhypothese einen 0-Koeffizienten für beinhaltet $B_1$ , aber was ist mit den anderen Variablen? Mit anderen Worten, wenn die Nullhypothese ist $Y = A + 0 \cdot X_1 + B_2 \cdot X_2$ , was sind die Werte von $A$ und $B_2$ für die Nullhypothese, aus der die $p$ -Wert für $B_1$ ist abgleitet?

regression p-value tmldwn
quelle

In Ihrem Modell fehlt ein Fehlerbegriff.

Andreas Dzemski

Antworten:

Die Nullhypothese lautet

H_{0} : B 1 = 0 and B 2 \in R and A \in R,

$H_0: B1 = 0 \: \text{and} \: B2 \in \mathbb{R} \: \text{and} \: A \in \mathbb{R},$ was im Grunde bedeutet, dass die Nullhypothese B2 und A nicht einschränkt. Die alternative Hypothese ist

H_{1} : B 1 \neq 0 and B 2 \in R and A \in R .

$H_1: B1 \neq 0 \: \text{and} \: B2 \in \mathbb{R} \: \text{and} \: A \in \mathbb{R}.$ In gewisser Weise ist die Nullhypothese im multiplen Regressionsmodell eine zusammengesetzte Hypothese. Es ist "ein Glück", dass wir eine zentrale Teststatistik erstellen können, die nicht vom wahren Wert von B2 und A abhängt, so dass wir keine Strafe durch das Testen einer zusammengesetzten Nullhypothese erleiden.

Mit anderen Worten, es gibt viele verschiedene Verteilungen von $(Y, X1, X2)$ das sind kompatibel mit der Nullhypothese $H_0$ . Alle diese Verteilungen führen jedoch zu demselben Verhalten der Teststatistik, die zum Testen verwendet wird $H_0$ .

In meiner Antwort habe ich mich nicht mit der Verteilung von befasst $\epsilon$ und implizit angenommen, dass es sich um eine unabhängig zentrierte normale Zufallsvariable handelt. Wenn wir nur so etwas annehmen

E [ϵ ∣ X 1, X 2] = 0

$E[\epsilon \mid X1, X2] = 0$ dann gilt eine ähnliche Schlussfolgerung asymptotisch (unter Regelmäßigkeitsannahmen).

Andreas Dzemski
quelle

Aber wie ich es verstehe, muss die Nullhypothese nicht eine Wahrscheinlichkeitsverteilung sein? Wenn ich bestimmte Werte für die Koeffizienten habe, kann ich eine Wahrscheinlichkeitsverteilung erzeugen, indem ich der Regressionsgleichung Rauschen (Epsilon) hinzufüge. Aber wenn ich keine spezifischen Werte für Koeffizienten habe, wie würde ich die Nullwahrscheinlichkeitsverteilung erzeugen?

tmldwn

Eine zusammengesetzte Nullhypothese ist eine ganze Reihe möglicher Wahrscheinlichkeitsmaße.

Andreas Dzemski

Ich habe meine Antwort bearbeitet, um diesen Punkt hervorzuheben.

Andreas Dzemski

@tmldwn: Hier hängt die marginale Verteilung der t-Statistik tatsächlich nicht davon ab, wo wir uns in der Null befinden. Wenn Sie dies schwer zu verstehen finden, empfehle ich Ihnen, die Ableitung der Verteilung der t-Statistik sorgfältig durchzugehen. Beachten Sie, dass die t-Statistik vom LS-Schätzer abhängt. In gewisser Weise wird die Teststatistik automatisch korrekt an die "wahre" Hypothese im Nullraum angepasst (wir müssen uns nicht zu A, B2 äußern, da wir sie nicht zur Berechnung der Teststatistik benötigen).

Andreas Dzemski

Diese Antwort ist völlig falsch. Wie in diesem Dokument erläutert, gibt es eine Anova für die gesamte Regression, aber einen T-Test für jeden Koeffizienten: reliawiki.org/index.php/…

Josh

Sie können für die anderen Variablen dieselben Annahmen treffen wie für X1. Die ANOVA-Tabelle der Regression enthält spezifische Informationen zu jeder Variablensignifikanz und auch zur Gesamtsignifikanz. In Bezug auf die Regressionsanalyse impliziert die Akzeptanz der Nullhypothese, dass der Koeffizient der Variablen bei einem bestimmten Signifikanzniveau Null ist.

Wenn Sie einen intuitiveren Aspekt des Problems erlangen möchten, können Sie mehr über das Testen von Hypothesen erfahren.

Logiksucher
quelle

Das $p$ -Werte sind das Ergebnis einer Reihe von $t$ -Tests. Die Nullhypothese lautet: $B_j=0$ , während die alternative Hypothese (wiederum für jeden Koeffizienten) lautet: $B_j\ne0$

(Weitere Informationen finden Sie hier: http://reliawiki.org/index.php/Multiple_Linear_Regression_Analysis#Test_on_Individual_Regression_Coefficients_.28t__Test.29 )

Josh
quelle