Bedeutung von p-Werten in der Regression

Wenn ich in einigen Softwarepaketen (z. B. Mathematica) eine lineare Regression durchführe, werden den einzelnen Parametern im Modell p-Werte zugeordnet. Zum Beispiel haben die Ergebnisse einer linearen Regression, die ein Ergebnis ergibt, einen p-Wert, der mit assoziiert ist, und einen mit . $ax+b$ $a$ $b$

Was bedeuten diese p-Werte individuell für diese Parameter?
Gibt es eine allgemeine Möglichkeit, Parameter für ein Regressionsmodell zu berechnen?
Kann der mit jedem Parameter verknüpfte p-Wert für das gesamte Modell zu einem p-Wert kombiniert werden?

Um diese Frage mathematisch zu halten, suche ich nur die Interpretation von p-Werten in Bezug auf Wahrscheinlichkeiten.

probability regression Henry B.
quelle

Gavins Antwort auf die mit @cardinal verknüpfte Frage sagt es auch.

JM ist kein Statistiker

@zyx, die Fragen des OP sind nicht weiter fortgeschritten. Dies sind sehr häufige Fragen, für die meiner Meinung nach stats.SE besser geeignet ist --- und auf die die Teilnehmer dort auch besser abgestimmt sind. Math.SE und MO sind beide hervorragende Ressourcen für Wahrscheinlichkeitsfragen, für statistische jedoch noch weniger. Die Fragen des OP richten sich viel mehr nach letzterem.

Kardinal

@ Cardinal: Ich verfolge stats.SE seit dem Start der öffentlichen Beta. Von mehr als 4800 Fragen war es mir nicht möglich, eine zu finden , die Punkt 3 aus dem OP fragt oder beantwortet, was seltsam ist, wenn dies eine "sehr häufige" Abfrage ist. Noch habe ich konzeptionell präzise Antworten auf Punkt 1 gesehen, als er einige Male auftauchte. Ich denke, diese Dinge sollten regelmäßig in math.SE und MO gepostet werden, um die Aufmerksamkeit eines größeren Publikums auf sich zu ziehen, und nicht innerhalb von Minuten auf stats.SE migriert werden. Es tut nicht weh, auch nach stat.SE zu fragen, aber letztere in den einzigen Ort zu verwandeln, an dem Statistiken besprochen werden können, ist nicht hilfreich.

Zyx

Es gibt jetzt einen Thread über die Migration von math.SE nach stats.SE in meta.math.SE.

Zyx

(Einige Kommentare, auf die oben verwiesen wurde, gingen bei der Migration verloren. Sie sind in der ursprünglichen math.SE-Veröffentlichung sichtbar, die unten neben den Wörtern "migriert von ..." verlinkt ist.)

zyx

Antworten:

Der p-Wert für ist der p-Wert in einem Test der Hypothese " " (normalerweise ein 2-seitiger Test). Der p-Wert für ist der p-Wert in einem Test der Hypothese " " (üblicherweise auch ein 2-seitiger Test) und ebenfalls für beliebige andere Koeffizienten in der Regression. Die Wahrscheinlichkeitsmodelle für diese Tests werden durch das im linearen Regressionsmodell angenommene Modell bestimmt. Für die lineare Regression der kleinsten Quadrate folgt das Paar ( ) einer bivariaten Normalverteilung, die auf den wahren Parameterwerten ( zentriert ist $a$ $\alpha = 0$ $t$ $b$ $\beta = 0$ $t$ $a,b$ $\alpha, \beta$ ), und der Hypothesentest für jeden Koeffizienten ist gleichbedeutend mit dem Test, ob (bzw. ) auf der Grundlage von Stichproben aus einer geeigneten Normalverteilung [einer Variablen, dh der Verteilung von oder allein]. Die Einzelheiten von denen Normalverteilungen erscheinen etwas kompliziert sind und „Freiheitsgrade“ und „Hut Matrizen“ (basierend auf der Notation beinhalten für einige der Matrizen , die ständig in der Theorie der OLS - Regression erscheinen). $t$ $\alpha = 0$ $\beta=0$ $a$ $b$ $\hat{A}$
Ja. Normalerweise wird es durch Maximum Likelihood Estimation durchgeführt (und definiert) . Für die lineare OLS-Regression und eine kleine Anzahl anderer Modelle gibt es genaue Formeln zur Schätzung der Parameter aus den Daten. Für allgemeinere Regressionen sind die Lösungen iterativer und numerischer Natur.
Nicht direkt. Ein p-Wert wird separat für einen Test des gesamten Modells berechnet, d. H. Einen Test der Hypothese, dass alle Koeffizienten (der Variablen, von denen angenommen wird, dass sie tatsächlich variieren), also ohne den Koeffizienten des "konstanten Terms", falls vorhanden eins). Dieser p-Wert kann jedoch normalerweise nicht aus der Kenntnis der p-Werte der Koeffizienten berechnet werden.

Zyx
quelle

In Ihrem Punkt (1.) scheint es eine gewisse Verwechslung zwischen einem Parameter und einem Schätzer zu geben . Der

Wert ist eher dem Schätzer als dem Parameter zugeordnet, und die Schätzer sind bivariate Normalwerte, nicht die Parameter (die zumindest in der klassischen Statistik als fest gelten). Auch Ihre Kommentare in Punkt (3.) können zu Verwirrung führen, da es durchaus möglich (und durchaus üblich) ist, dass einige der einzelnen

Werte von Regressionsschätzungen sowohl größer als auch kleiner sind als der gemeinsame

Wert aus dem entsprechenden

Test.

p

$p$

p

$p$

p

$p$

F

$F$

Kardinal

@ NRH: Entschuldigung, können Sie Ihren vorherigen Kommentar klären. Ich verfolge es (noch) nicht ganz. :)

Kardinal

@ cardinal: Es scheint genauer zu sein zu sagen, dass ein p-Wert mit einem Hypothesentest verbunden ist. Die Parameter erscheinen in der Nullhypothese des Tests und das Paar (beobachteter Schätzerwert, alternative Hypothese) bestimmt dann einen p-Wert. Die Nullhypothesen sollten mit Parametern wie α = 0 und nicht mit Schätzern a = 0 beschrieben werden, wie dies in der jetzt bearbeiteten ursprünglichen Antwort [nachlässig] geschehen ist (danke, dass Sie auf den Fehler hingewiesen haben). In der Antwort wurde jedoch ausdrücklich die vermeintlich verwirrte oder fehlende Unterscheidung "die Schätzer sind bivariat normal, nicht die Parameter" angegeben.

Zyx

Entschuldigung, ich konnte einfach nicht widerstehen. @zyx hat einen Kommentar zum ursprünglichen Beitrag auf math.SE abgegeben, der Antworten auf stat.SE oft ungenau enthielt. Ich finde, dass viele Antworten ziemlich genau sind, obwohl sie manchmal mathematisch ungenau sind. Das liegt in der Natur der Sache. Statistische Fragen und Antworten lassen sich nicht immer auf präzise mathematische Aussagen reduzieren. Besonders nicht die schwierigen. Die hier gegebene Antwort ist jedoch meiner Meinung nach weder besonders genau noch präzise.

NRH

Ich denke, es wäre schön, wenn jemand, der das Abstimmungsergebnis herabgestimmt hat, einen erläuternden Kommentar abgeben würde.

Kardinal

zur ersten frage: das hängt von der software deiner wahl ab. Es gibt tatsächlich zwei Arten von p-Werten, die in diesen Szenarien häufig verwendet werden. Beide basieren in der Regel auf Likelihood-Ratio-Tests (es gibt andere, aber diese sind in der Regel äquivalent oder unterscheiden sich in ihren Ergebnissen zumindest wenig).

Es ist wichtig zu wissen, dass alle diese p-Werte von (einem Teil) der übrigen Parameter abhängig sind . Das bedeutet: Unter der Annahme, dass (einige) der anderen Parameterschätzungen korrekt sind, testen Sie, ob der Koeffizient für einen Parameter Null ist oder nicht. Normalerweise lautet die Nullhypothese für diese Tests, dass der Koeffizient Null ist. Wenn Sie also einen kleinen p-Wert haben, bedeutet dies (abhängig vom Wert der anderen Koeffizienten), dass es unwahrscheinlich ist, dass der Koeffizient selbst Null ist.

Tests vom Typ I testen die Nullheit jedes Koeffizienten unter der Bedingung, dass der Wert der Koeffizienten im Modell (von links nach rechts) vor ihm liegt. Prüfungen vom Typ III (Grenzprüfungen), Prüfung auf die Nullstelle jedes Koeffizienten, abhängig vom Wert aller anderen Koeffizienten.

Verschiedene Tools stellen standardmäßig unterschiedliche p-Werte zur Verfügung. In der Regel haben Sie jedoch Möglichkeiten, beide Werte zu erhalten. Wenn Sie außerhalb der Statistik keinen Grund haben, die Parameter in einer bestimmten Reihenfolge anzugeben, sind Sie im Allgemeinen an den Testergebnissen des Typs III interessiert.

Schließlich können Sie mit einem Likelihood-Ratio-Test (der sich eher auf Ihre letzte Frage bezieht) immer einen Test für eine Reihe von Koeffizienten erstellen, die vom Rest abhängig sind. Dies ist der richtige Weg, wenn Sie mehrere Koeffizienten gleichzeitig auf Null testen möchten (andernfalls treten unangenehme Probleme mit mehreren Tests auf).

Nick Sabbe
quelle

Könnten Sie bitte die von Ihnen erwähnte Konditionalität näher erläutern? In der univariaten Regression mit

Prädiktoren und einem Intercept, eine Hypothese auf einer lineare Kombination von Parametern der Prüfung

Verwendungen Teststatistik

p

$p$

ψ = c^{'} β

$\psi = c'\beta$

...

t = \frac{\hat{ψ} - ψ_{0}}{\hat{σ} \sqrt{c^{'} (X^{'} X)^{- 1} c}}

$t = \frac{\hat{\psi} - \psi_0}{\hat{\sigma} \sqrt{c' (X' X)^{-1} c}}$

caracal

Hier

, wobei

der Vektor der Parameterschätzungen ist und

ein Vektor von Koeffizienten.

ist die Designmatrix und

ist der Reststandardfehler

, wobei

der Vektor der Residuen aus dem gelieferten Modell ist. Für den Test eines einzelnen Parameters

, der 0 ist, ist

das

\hat{ψ} = c^{'} \hat{β}

$\hat{\psi} = c'\hat{\beta}$

\hat{β}

$\hat{\beta}$

c

$c$

X

$X$

\hat{σ}

$\hat{\sigma}$

| | e | |^{2} / (n - (p + 1))

$||e||^2 / (n - (p+1))$

e

$e$

j

$j$

c

$c$

j

$j$ -te Einheitsvektor und

. Ich sehe nicht, wo Modellvergleiche eine Rolle für

ψ_{0} = 0

$\psi_0 = 0$

t

$t$

caracal

Das Wesentliche wird hier zum Beispiel festgehalten . Denken Sie daran, dass Anova nur ein Sonderfall der Regression ist. Grundsätzlich gilt: Wenn Sie in einem Modell mit oder ohne Variable B einen Test auf Null (den Koeffizienten von) Variable A durchführen, erhalten Sie möglicherweise unterschiedliche Ergebnisse. Das Ergebnis ist also abhängig von Ihrem Modell, den Daten (auch für die Werte der Variablen B) und damit von den Koeffizienten nicht in Ihrem Test, sondern in Ihrem Modell. Diese Idee in der Mathematik zu finden, kann etwas schwieriger sein :-)

Nick Sabbe

p - 1

$p-1$

p

$p$

c^{'} β

$c'\beta$

β_{j}

$\beta_j$

F = \frac{(S S_{e r} - S S_{e u}) / (d f_{e r} - d f_{e u})}{S S_{e u} / d f_{e u}}

$F = \frac{(SS_{er} - SS_{eu}) / (df_{er} - df_{eu})}{SS_{eu} / df_{eu}}$

S S_{e r}

$SS_{er}$

d f_{e r}

$df_{er}$

| | e_{r} | |^{2}

$||e_r||^2$

u

$u$

Der kontinuierliche Fall sollte einer dichotomen 0-1-codierten Variablen vollständig entsprechen.

Nick Sabbe