Erfasst der Abschnitt in einer logistischen Regression die unbeobachteten Effekte?

8

Erfasst der Intercept-Term in einem logistischen Regressionsmodell theoretisch alle nicht beobachteten Effekte?

Mit anderen Worten, in einem logistischen Regressionsmodell mit perfekter Anpassung (dh alle relevanten Variablen sind enthalten) sollte der Intercept-Term Null sein, oder?

student_of_life
quelle

Antworten:

6

Erfasst der Intercept-Term in einem logistischen Regressionsmodell theoretisch alle nicht beobachteten Effekte?

Dies ist eine interessante Frage, und ich kann sehen, wie man bei einigen einfachen Experimenten denken könnte, dass dies der Fall ist. Tatsächlich habe ich bei meinem ersten Versuch, dies einzurichten, eine Demonstration erstellt, die den Achsenabschnitt nur dann falsch einschätzt, wenn ich das Modell falsch angegeben habe - ansonsten waren alle Koeffizientenschätzungen in Ordnung!

In einer OLS - Regression, ist der Fehlerterm , wo wir würden gerne für alle Effekte , die wir nicht zu gehen , haben einen Anteil ... aber wenn es Effekte , die wir nicht berücksichtigt haben (dh das Modell ist falsch angegeben) dann neigen sie dazu, ihre Köpfe in anderen Merkmalen des Modells zu erheben, insbesondere wenn es verwirrende Beziehungen zwischen Variablen gibt. Dies gilt auch für alle anderen herkömmlichen Regressionsmethoden. Wenn das Modell falsch angegeben ist, sind die Koeffizientenschätzungen nicht vertrauenswürdig (aber möglicherweise sind die Vorhersagen hilfreich oder das Modell dient einem anderen nützlichen Zweck).

Hier ist zum Beispiel ein Binomialmodell, bei dem es nur zwei Merkmale gibt und eine gewisse Abhängigkeit zwischen ihnen. Ich habe es so manipuliert, dass die Koeffizienten sein solltenβ0=10,β1=- -5,β2=5.x2

set.seed(13)
N <- 100

inv_logit <- function(x){
    ifelse(x< -20, -20, x)
    out <- 1/(1+exp(-x))
    return(out)
}

x0 <- rep(1, N)
x1 <- rnorm(N)
x2 <- rnorm(N, mean=10+3*x1-0.5*x1^2)
zTransform <- cbind(x0, x1, x2)%*%c(-10,-5,1)
summary(zTransform)

yObs <- rbinom(N, size=1, prob=inv_logit(zTransform))

badModel <- glm(yObs~x1, family=binomial(link="logit"))
summary(badModel)

Coefficients:
            Estimate Std. Error z value Pr(>|z|)    
(Intercept)  -0.1404     0.2327  -0.604    0.546    
x1           -1.3417     0.3041  -4.412 1.02e-05 ***

Wenn wir das Modell jedoch korrekt spezifizieren, erhalten wir unsere Koeffizienten zurück, jedoch mit einem Schätzfehler.

goodModel <- glm(yObs~x1+x2, family=binomial(link="logit"))
summary(goodModel)

Coefficients:
            Estimate Std. Error z value Pr(>|z|)    
(Intercept)  -9.9512     2.9331  -3.393 0.000692 ***
x1           -4.8657     1.1918  -4.083 4.45e-05 ***
x2            0.9970     0.2948   3.382 0.000720 ***

Mit anderen Worten, in einem logistischen Regressionsmodell mit perfekter Anpassung (dh alle relevanten Variablen sind enthalten) sollte der Intercept-Term Null sein, oder?

Warum sollte das so sein? Angenommen, Sie führen eine logistische Regression durch und haben keine Kovariaten. Beispielsweise würfelt Ihr Experiment und jede 6 ist ein "Erfolg", und jedes andere Ergebnis ist ein Fehlschlag (vielleicht führen Sie eine Qualitätssicherung für eine durch Kasino). Wenn wir davon ausgehen, dass die Würfel fair sind, würden Sie den Koeffizienten auf einen Wert ungleich Null schätzen, nur weil Ihre Daten ungünstigere Ergebnisse als günstige Ergebnisse enthalten.

Es ist wichtig zu verstehen, dass Sie in Ihrem Beitrag zwei verschiedene Fragen gestellt haben. Die erste Frage fragt, ob der Achsenabschnitt nicht modellierte Effekte erfasst (nicht! Alle Koeffizientenschätzungen sind falsch, wenn das Modell falsch angegeben ist!). Die zweite Frage fragt, ob der Achsenabschnitt Null sein soll - und die Antwort lautet ebenfalls Nein. weil der Intercept-Term durch das Verhältnis von "Erfolgen" zu "Misserfolgen" festgelegt ist.

Sycorax sagt Reinstate Monica
quelle
Vielen Dank, Ihre Antwort hat tatsächlich sehr geholfen! Grundsätzlich werden die nicht beobachteten Effekte nur in der Differenz zwischen dem maximalen lnLikelihood-Wert (= 0) und der lnLikelihood-Funktion, die alle unabhängigen Variablen berücksichtigt, berücksichtigt, oder?
student_of_life
2
Ich verstehe deine Frage nicht. Die korrekte Modellspezifikation enthält alle relevanten Merkmale - was ein Dilemma darstellt, da die Welt kompliziert ist und es im Allgemeinen unmöglich ist, alle Effekte zu berücksichtigen. Ausgelassene Effekte können dazu führen, dass Koeffizientenschätzungen völlig falsch sind!
Sycorax sagt Reinstate Monica
Wie Sie sagten, da ein Modell selten alle Effekte erfassen kann, werden Effekte immer weggelassen. Ich habe mich gefragt, ob es in einem standardmäßigen binären logistischen Regressionsmodell einen Indikator gibt, der die Größe dieser ausgelassenen Effekte angibt.
student_of_life
Nicht, dass mir das bewusst wäre: Sie können keine Daten anpassen, die Sie nicht haben.
Sycorax sagt Reinstate Monica
1
@student_of_life: Jede Metrik, die die Modellanpassung mit einer perfekten Anpassung vergleicht - die eines Modells, das eine Erfolgswahrscheinlichkeit von 1 für alle "Erfolge" und 0 für alle "Fehler" vorhersagt -, kann verwendet werden, um die Größe der ausgelassenen Effekte in einer Deterministik anzuzeigen Universum.
Scortchi - Monica wieder einsetzen
2

Ich bin mir nicht sicher, ob ein Modell, auch ein lineares, mit einer 'perfekten' Anpassung impliziert, dass der Intercept-Term 0 sein sollte. In diesen Fällen hilft es, an eine einfache lineare Regression zu denken. Ich verstehe den Achsenabschnitt so, dass er einen vernünftigen Wert für die y-Variable festlegt. Es zeigt nur, welchen Wert die y-Variable annimmt, selbst wenn alle x 0 sind. Es muss einen guten Grund geben zu überlegen, warum dies 0 sein sollte. Ich glaube nicht, dass dies etwas mit nicht beobachtbaren Faktoren zu tun hat. In einem linearen Modell ermöglicht es a) eine bessere Anpassung und b) stellt sicher, dass die Residuen 1 ergeben.

ChinG
quelle
1

In einem logistischen Regressionsmodell mit perfekter Anpassung (dh alle relevanten Variablen sind enthalten) sollte der Intercept-Term Null sein, oder?

Nein. Der Abschnitt erfasst den konstanten Teil der Gefahr.

Aksakal
quelle
1

Der Achsenabschnitt ermöglicht es der linearen Hyperebene, sich "seitwärts" zu bewegen. In einer Dimension wird beispielsweise das Sigmoid nach links und rechts bewegt, wodurch die Stelle, an der die Regression aktiviert wird, effektiv geändert wird.

Felipe Gerard
quelle