Warum wird die logistische Regressionshypothese als Wahrscheinlichkeitsfunktion angesehen?

Nein, es ist nicht nur eine Heuristik.

Die logistische Regression ist ein besonderer Fall eines verallgemeinerten linearen Modells (GLM), in diesem Fall für einen Prozess, bei dem die Antwortvariable bedingt Bernoulli (oder allgemeiner Binomial ) ist.

Ein GLM enthält eine Spezifikation eines Modells für das bedingte Mittel der Antwort. Im Fall einer Bernoulli-Variablen ist ihr bedingter Mittelwert der Parameter $p_i$ , das ist explizit die Wahrscheinlichkeit, dass die Antwort, $Y_i$ ist $1$ . Es wird anhand eines oder mehrerer Prädiktoren modelliert. Hier ist das Modell für den Mittelwert für einen einzelnen Prädiktor: $x_i$ ::

P (Y_{i} = 1 | x_{i}) = \frac{\exp (β_{0} + β_{1} x_{i})}{1 + \exp (β_{0} + β_{1} x_{i})}

$P(Y_i=1|x_i)=\frac{\exp(\beta_0+\beta_1x_i)}{1+\exp(\beta_0+\beta_1x_i)}$

Es ist also (absichtlich) ein Modell für die Wahrscheinlichkeit, dass die Antwort ist $1$ gegeben angesichts des Wertes der Prädiktoren.

Die Form der Verknüpfungsfunktion $\eta=\log(p/(1-p))$ (und seine Umkehrung $p=\exp(\eta)/(1+\exp(\eta))$ ) ist auch kein Zufall - der Logit-Link (was ihn zur logistischen Regression macht) ist die natürliche (oder kanonische ) Link-Funktion für eine Binomialantwort. Andere Auswahlmöglichkeiten für die Verknüpfungsfunktion sind möglich (und sie werden auch Modelle für die Wahrscheinlichkeit einer 1 sein). Andere gebräuchliche Optionen für eine Binomialantwort sind das Probit und das komplementäre Log-Log, aber die Logistik ist bei weitem die häufigste.

Glen_b -State Monica
quelle

Korrigieren Sie mich, wenn ich falsch liege, aber die Funktion sollte eine richtige Bewertungsregel sein. In solchen Fällen spiegelt es die Wahrscheinlichkeit wider.

Cagdas Ozgenc

@Cagdas Das Kriterium, das bei der Schätzung von GLMs optimiert wird, ist die Wahrscheinlichkeit (obwohl MLE als Sonderfall der optimalen Score-Schätzung angesehen werden kann). Gießen Sie hier die Modellierung von Bernoulli-Variablen als Prognoseproblem?

Glen_b -Rate State Monica

Warum wird die logistische Regressionshypothese als Wahrscheinlichkeitsfunktion angesehen?

Antworten: