Warum ist logistische Regression ein lineares Modell?

24

Ich möchte wissen, warum logistische Regression als lineares Modell bezeichnet wird. Es verwendet eine Sigmoid-Funktion, die nicht linear ist. Warum ist logistische Regression ein lineares Modell?

regression logistic terminology user34790
quelle

6

Das Logit von (das Log der Gewinnchancen) ist in den Parametern linear, aber die Leute beziehen sich meines Wissens nicht auf eine logistische Regression, die so linear ist. Können Sie zitieren, wer das gesagt hat?

π

$\pi$

gung - Wiedereinsetzung von Monica

@ gung-ReinstateMonica Zum Beispiel im Deep Learning-Buch auf Seite 169 ( deeplearningbook.org/contents/mlp.html ). In dem Buch heißt es: "Lineare Modelle wie logistische Regression und lineare Regression sind ansprechend ....." Ich denke, sie meinten "Allgemeines lineares Modell" für logistische Regression.

JUNGER

33

Das logistische Regressionsmodell hat die Form Es wird ein verallgemeinertes lineares Modell genannt, nicht weil die geschätzte Wahrscheinlichkeit des Antwortereignisses linear ist, sondern weil das Protokoll der geschätzten Wahrscheinlichkeitsantwort eine lineare Funktion der ~~Prädiktorenparameter~~ ist.

l O G ich t (p_{ich}) = l n (\frac{p_{ich}}{1 - p_{ich}}) = β_{0} + β_{1} x_{1, ich} + β_{2} x_{2, ich} + \dots + β_{p} x_{p, ich} .

$\mathrm{logit}(p_i) = \mathrm{ln}\left(\frac{p_i}{1-p_i}\right) = \beta_0 + \beta_1 x_{1,i} + \beta_2 x_{2,i} + \cdots + \beta_p x_{p,i}.$

Allgemeiner hat das verallgemeinerte lineare Modell die Form wobei der erwartete Wert der Antwort unter Berücksichtigung der Kovariaten ist.

G (μ_{ich}) = β_{0} + β_{1} x_{1, ich} + β_{2} x_{2, ich} + \dots + β_{p} x_{p, ich},

$\mathrm{g}(\mu_i) = \beta_0 + \beta_1 x_{1,i} + \beta_2 x_{2,i} + \cdots + \beta_p x_{p,i},$

μ

$\mu$

Edit: Danke whuber für die Korrektur.

P Schnell
quelle

7

Wenn Sie "generalized linear" anstelle von "linear" und Parameter anstelle von Prädiktoren schreiben würden , wäre dies richtig. (Viele logistische Regressionsmodelle sind in den Prädiktoren nicht linear. Beispielsweise ist in den Prädiktoren keine logistische Regression mit einem Interaktionsterm linear.)

whuber

Du hast recht, danke. Ich habe meine Antwort aktualisiert, um dies widerzuspiegeln.

P Schnell

Was ist Pi da?

Aaron

7

Die logistische Regression verwendet die allgemeine lineare Gleichung . In der linearen Regression ist eine kontinuierliche abhängige Variable, in der logistischen Regression jedoch eine Regression für die Wahrscheinlichkeit eines kategorialen Ergebnisses (zum Beispiel 0 und 1). $Y=b_0+∑(b_i X_i)+\epsilon$ $Y$

$Y=1$

P (Y. = 1) = \frac{1}{1 + e^{- (b_{0} + \sum (b_{ich} X_{ich}))}}

$P(Y=1) = {1 \over 1+e^{-(b_0+\sum{(b_iX_i)})}}$

lennon310
quelle

7

Linear bedeutet linear in Betas (den Koeffizienten), aber nein in x (den unabhängigen Variablen). Solange Ihre Betas nicht nicht linear sind, ist Ihr Modell linear.

Yilun Zhang
quelle

3

Das stimmt - aber leider ist die logistische Regression ein verallgemeinertes lineares Modell und in den Parametern nicht linear.

Whuber

Warum ist logistische Regression ein lineares Modell?

Antworten: