Wann unterscheiden sich die durch logistische und logitlineare Regression geschätzten Koeffizienten?

Bei der Modellierung kontinuierlicher Proportionen (z. B. proportionale Vegetationsbedeckung bei Erhebungsquadraten oder Anteil der Zeit, die an einer Aktivität beteiligt ist) wird die logistische Regression als unangemessen angesehen (z. B. Warton & Hui (2011). Der Arkussinus ist asinin: die Analyse der Proportionen in der Ökologie ). Vielmehr ist eine OLS-Regression nach logit-transformierender Proportionen oder möglicherweise eine Beta-Regression besser geeignet.

Unter welchen Bedingungen unterscheiden sich die Koeffizientenschätzungen der logitlinearen Regression und der logistischen Regression bei Verwendung von R lmund glm?

Nehmen Sie die folgenden simulierten Daten - Set, wo wir davon ausgehen können , dass punsere Rohdaten (dh kontinuierliche Proportionen, anstatt darstellt ):${n_{successes}\over n_{trials}}$

set.seed(1)
x <- rnorm(1000)
a <- runif(1)
b <- runif(1)
logit.p <- a + b*x + rnorm(1000, 0, 0.2)
p <- plogis(logit.p)

plot(p ~ x, ylim=c(0, 1))

Wenn wir ein logit-lineares Modell anpassen, erhalten wir:

summary(lm(logit.p ~ x))
## 
## Call:
## lm(formula = logit.p ~ x)
## 
## Residuals:
##      Min       1Q   Median       3Q      Max 
## -0.64702 -0.13747 -0.00345  0.15077  0.73148 
## 
## Coefficients:
##             Estimate Std. Error t value Pr(>|t|)    
## (Intercept) 0.868148   0.006579   131.9   <2e-16 ***
## x           0.967129   0.006360   152.1   <2e-16 ***
## ---
## Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
## 
## Residual standard error: 0.208 on 998 degrees of freedom
## Multiple R-squared:  0.9586, Adjusted R-squared:  0.9586 
## F-statistic: 2.312e+04 on 1 and 998 DF,  p-value: < 2.2e-16

Logistische Regression ergibt:

summary(glm(p ~ x, family=binomial))
## 
## Call:
## glm(formula = p ~ x, family = binomial)
## 
## Deviance Residuals: 
##      Min        1Q    Median        3Q       Max  
## -0.32099  -0.05475   0.00066   0.05948   0.36307  
## 
## Coefficients:
##             Estimate Std. Error z value Pr(>|z|)    
## (Intercept)  0.86242    0.07684   11.22   <2e-16 ***
## x            0.96128    0.08395   11.45   <2e-16 ***
## ---
## Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
## 
## (Dispersion parameter for binomial family taken to be 1)
## 
##     Null deviance: 176.1082  on 999  degrees of freedom
## Residual deviance:   7.9899  on 998  degrees of freedom
## AIC: 701.71
## 
## Number of Fisher Scoring iterations: 5
## 
## Warning message:
## In eval(expr, envir, enclos) : non-integer #successes in a binomial glm!

Werden die Schätzungen des logistischen Regressionskoeffizienten in Bezug auf die Schätzungen des logit-linearen Modells immer unvoreingenommen sein?

Vielleicht kann dies auf die "umgekehrte" Weise beantwortet werden - dh wann sind sie gleich?

Der in der logistischen Regression verwendete IRLS-Algorithmus bietet hier einige Einblicke. Bei der Konvergenz können Sie die Modellkoeffizienten wie folgt ausdrücken:

$W$$W_{ii}=n_ip_i (1-p_i)$$z$$z_i=x_i^T\hat {\beta}_{logistic} +\frac {y_i -n_ip_i}{n_ip_i (1-p_i)}$$var (z_i -x_i^T\hat {\beta})=W_{ii}^{-1}$$z$$\beta$$z$

$\log (y)-\log (n-y)$$y (1-y/n)$$y$$n$lm ()

Bitte zögern Sie nicht, darauf hinzuweisen, wenn ich falsch liege.

Erstens habe ich so gesagt, in der zweiten Passform rufen Sie glmfalsch an! Um eine logistische Regression durch anzupassen glm, sollte die Antwort eine (binäre) kategoriale Variable sein, aber Sie verwenden peine numerische Variable! Ich muss sagen, es warningist einfach zu sanft, um Benutzer über ihre Fehler zu informieren ...

Und wie zu erwarten, erhalten Sie ähnliche Schätzungen der Koeffizienten durch die beiden Anpassungen nur durch Zufall. Wenn Sie ersetzen logit.p <- a + b*x + rnorm(1000, 0, 0.2)mit logit.p <- a + b*x + rnorm(1000, 0, 0.7), dh die Varianz der Fehlerterm von Wechsel werden, dann werden die Ergebnisse der beiden Anfälle stark unterschiedlich, obwohl der zweite Sitz ( ) überhaupt sinnlos ist ...0.20.7glm

Die logistische Regression wird für die (binäre) Klassifizierung verwendet, daher sollten Sie wie oben angegeben eine kategoriale Antwort erhalten. Zum Beispiel sollten die Beobachtungen der Antwort eine Reihe von "Erfolg" oder "Misserfolg" sein und nicht eine Reihe von "Wahrscheinlichkeit (Häufigkeit)" wie in Ihren Daten. Für einen bestimmten kategorialen Datensatz können Sie nur eine Gesamthäufigkeit für "Antwort = Erfolg" oder "Antwort = Fehler" anstelle einer Reihe berechnen. In den von Ihnen generierten Daten gibt es überhaupt keine kategoriale Variable, sodass keine logistische Regression angewendet werden kann. Jetzt können Sie sehen, dass die logit-lineare Regression (wie Sie sie nennen), obwohl sie ein ähnliches Erscheinungsbild hat, nur ein gewöhnliches lineares REGRESSION-Problem ist (dh die Antwort ist eine numerische Variable), das die transformierte Antwort verwendet (genau wie die sqr- oder sqrt-Transformation).

Typischerweise wird die lineare Regression durch gewöhnliche kleinste Quadrate (OLS) angepasst, wodurch der Quadratverlust für das Regressionsproblem minimiert wird. Die logistische Regression wird durch die Maximum Likelihood Estimation (MLE) angepasst, wodurch der Log-Verlust für Klassifizierungsprobleme minimiert wird. Hier ist eine Referenz zu Verlustfunktionen Verlustfunktion, Deva Ramanan. Im ersten Beispiel betrachten Sie pals Antwort und passen ein gewöhnliches lineares Regressionsmodell über OLS an. Im zweiten Beispiel geben Sie an, Rdass Sie ein logistisches Regressionsmodell von anpassen. Passen Sie family=binomialalso Rdas Modell von MLE an. Wie Sie sehen können, erhalten Sie im ersten Modell den T-Test und den F-Test, die klassische Ausgaben von OLS sind, die für die lineare Regression geeignet sind. Im zweiten Modell basiert der Signifikanztest des Koeffizienten auf zstatttDies ist die klassische Ausgabe der MLE-Anpassung der logistischen Regression.