Warum ist logistische Regression ein lineares Modell?

24

Ich möchte wissen, warum logistische Regression als lineares Modell bezeichnet wird. Es verwendet eine Sigmoid-Funktion, die nicht linear ist. Warum ist logistische Regression ein lineares Modell?

user34790
quelle
6
Das Logit von (das Log der Gewinnchancen) ist in den Parametern linear, aber die Leute beziehen sich meines Wissens nicht auf eine logistische Regression, die so linear ist. Können Sie zitieren, wer das gesagt hat? π
gung - Wiedereinsetzung von Monica
@ gung-ReinstateMonica Zum Beispiel im Deep Learning-Buch auf Seite 169 ( deeplearningbook.org/contents/mlp.html ). In dem Buch heißt es: "Lineare Modelle wie logistische Regression und lineare Regression sind ansprechend ....." Ich denke, sie meinten "Allgemeines lineares Modell" für logistische Regression.
JUNGER

Antworten:

33

Das logistische Regressionsmodell hat die Form Es wird ein verallgemeinertes lineares Modell genannt, nicht weil die geschätzte Wahrscheinlichkeit des Antwortereignisses linear ist, sondern weil das Protokoll der geschätzten Wahrscheinlichkeitsantwort eine lineare Funktion der Prädiktorenparameter ist.

lOGicht(pich)=ln(pich1-pich)=β0+β1x1,ich+β2x2,ich++βpxp,ich.

Allgemeiner hat das verallgemeinerte lineare Modell die Form wobei der erwartete Wert der Antwort unter Berücksichtigung der Kovariaten ist.

G(μich)=β0+β1x1,ich+β2x2,ich++βpxp,ich,
μ

Edit: Danke whuber für die Korrektur.

P Schnell
quelle
7
Wenn Sie "generalized linear" anstelle von "linear" und Parameter anstelle von Prädiktoren schreiben würden , wäre dies richtig. (Viele logistische Regressionsmodelle sind in den Prädiktoren nicht linear. Beispielsweise ist in den Prädiktoren keine logistische Regression mit einem Interaktionsterm linear.)
whuber
Du hast recht, danke. Ich habe meine Antwort aktualisiert, um dies widerzuspiegeln.
P Schnell
Was ist Pi da?
Aaron
7

Die logistische Regression verwendet die allgemeine lineare Gleichung . In der linearen Regression ist Y eine kontinuierliche abhängige Variable, in der logistischen Regression jedoch eine Regression für die Wahrscheinlichkeit eines kategorialen Ergebnisses (zum Beispiel 0 und 1).Y.=b0+(bichXich)+ϵY.

Y.=1

P(Y.=1)=11+e-(b0+(bichXich))
lennon310
quelle
7

Linear bedeutet linear in Betas (den Koeffizienten), aber nein in x (den unabhängigen Variablen). Solange Ihre Betas nicht nicht linear sind, ist Ihr Modell linear.

Yilun Zhang
quelle
3
Das stimmt - aber leider ist die logistische Regression ein verallgemeinertes lineares Modell und in den Parametern nicht linear.
Whuber