Was ist der Unterschied zwischen binomialer und logistischer Regression?

Ich habe die logistische Regression immer als einen speziellen Fall der binomischen Regression betrachtet, bei dem die Verknüpfungsfunktion die logistische Funktion ist (anstelle einer Probit-Funktion).

Nach dem Lesen der Antworten auf eine andere Frage, die ich hatte, könnte ich verwirrt sein, und es gibt einen Unterschied zwischen logistischer Regression und binomialer Regression mit einer logistischen Verknüpfung.

Was ist der Unterschied?

regression logistic binomial raegtin
quelle

Antworten:

Die logistische Regression ist eine binomische Regression mit der Verknüpfungsfunktion "Logistik":

g (p) = \log (\frac{p}{1 - p}) = X β

$g(p)=\log\left(\frac{p}{1-p}\right)=X\beta$

Obwohl ich auch denke, dass die logistische Regression normalerweise auf binomische Proportionen und nicht auf binomische Zählungen angewendet wird.

Wahrscheinlichkeitslogik
quelle

Was meinen Sie mit logistischer Regression, die normalerweise auf Proportionen und nicht auf Zählungen angewendet wird? Angenommen, ich versuche vorherzusagen, ob Personen an einer Party teilnehmen werden oder nicht, und für eine bestimmte Party weiß ich, dass 9 Personen teilgenommen haben und 1 nicht - meinst du, dass logistische Regression dies als ein Trainingsbeispiel nimmt (dh diese Partei hatte eine Erfolgsrate von 0,9), während die binomiale Regression mit einem Link dies als 10 Trainingsbeispiele (9 Erfolge, 1 Misserfolg) annehmen würde?

Raegtin

@raehtin - in beiden Fällen wäre es

Probe / Trainingsfall mit

bzw.

. Der Unterschied ist die Form der Mittel- und Varianzfunktionen. Für das Binomial ist der Mittelwert

, die kanonische Verknüpfung ist jetzt

1

$1$

(n_{i}, f_{i}) = (10, 0.9)

$(n_i,f_i)=(10,0.9)$

(n_{i}, x_{i}) = (10, 9)

$(n_i,x_i)=(10,9)$

μ_{i} = n_{i} p_{i}

$\mu_i=n_ip_i$

(auch "natürlicher Parameter" genannt) und die Varianzfunktion ist

\log (\frac{μ_{i}}{n_{i} - μ_{i}})

$\log\left(\frac{\mu_i}{n_i-\mu_i}\right)$

mit Dispersionsparameter

. Für die Logistik gilt:

, obiger Zusammenhang, Varianzfunktion von

und Dispersion gleich

V (μ_{i}) = \frac{μ_{i} (n_{i} - μ_{i})}{n_{i}}

$V(\mu_i)=\frac{\mu_i(n_i-\mu_i)}{n_i}$

ϕ_{i} = 1

$\phi_i=1$

μ_{i} = p_{i}

$\mu_i=p_i$

V (μ_{i}) = μ_{i} (1 - μ_{i})

$V(\mu_i)=\mu_i(1-\mu_i)$

ϕ_{i} = \frac{1}{n_{i}}

$\phi_i=\frac{1}{n_i}$

Wahrscheinlichkeitslogik

Mit logistic wird das

von der Mittelwert- und der Varianzfunktion getrennt, so dass es leichter über weighting berücksichtigt werden kann

n_{i}

$n_i$

Wahrscheinlichkeitslogik

Ah, verstanden, ich glaube ich verstehe. Bedeutet dies, dass sie äquivalente Ergebnisse liefern (einfach auf eine andere Weise ermittelt)?

Raegtin

@raegtin - ich denke schon. Die GLM-Gewichte

, ist in beiden Fällen gleich, und die Verknüpfungsfunktion erzeugt den gleichen logit Wert. So lange die X-Variablen auch gleich sind, sollte es die gleichen Ergebnisse geben.

w_{i}^{2} = \frac{1}{ϕ_{i} V (μ_{i}) [g^{'} (μ_{i})]^{2}}

$w_{i}^{2}=\frac{1}{\phi_i V(\mu_i)[g'(\mu_i)]^{2}}$

Wahrscheinlichkeitslogik

Binomialen Regression ist jede Art von GLM eine binomische mean-Varianzbeziehung unter Verwendung von in dem die Varianz ist gegeben durch . In der logistischen Regression $\mbox{var}(Y) = \hat{Y}(1-\hat{Y})$ $\hat{Y} = \mbox{logit}^{-1}(\mathbf{X}\hat{\beta})=1/(1-\exp{(\mathbf{X}\hat{\beta})})$ mit der Logit-Funktion, die als "Link" -Funktion bezeichnet wird. Eine allgemeine Klasse von binomialen Regressionsmodellen kann jedoch mit jeder Art von Verknüpfungsfunktion definiert werden, auch mit Funktionen, die einen Bereich außerhalb von ausgeben . Beispielsweise nimmt die Probit-Regression eine Verknüpfung der inversen normalen CDF, die relative Risikoregression als Verknüpfung der Protokollfunktion und additive Risikomodelle das Identity-Link-Modell. $[0,1]$

AdamO
quelle