Welche Beziehung besteht zwischen der Beta-Verteilung und dem logistischen Regressionsmodell?

Meine Frage ist: Wie ist die mathematische Beziehung zwischen der Beta-Verteilung und den Koeffizienten des logistischen Regressionsmodells ?

Zur Veranschaulichung: Die logistische (Sigmoid-) Funktion ist gegeben durch

f (x) = \frac{1}{1 + \exp (- x)}

$f(x) = \frac{1}{1+\exp(-x)}$

und es wird verwendet, um Wahrscheinlichkeiten im logistischen Regressionsmodell zu modellieren. Sei ein dichotomes Ergebnis und eine Entwurfsmatrix. Das logistische Regressionsmodell ist gegeben durch $A$ $(0,1)$ $X$

P (EIN = 1 | X) = f (X β) .

$P(A=1|X) = f(X \beta).$

Anmerkung hat eine erste Spalte mit der Konstanten (Achsenabschnitt) und ist ein Spaltenvektor von Regressionskoeffizienten. Wenn wir zum Beispiel einen (Standard-Normal-) Regressor und (Intercept) und wählen , können wir die resultierende 'Verteilung der Wahrscheinlichkeiten' simulieren. $X$ $1$ $\beta$ $x$ $\beta_0=1$ $\beta_1=1$

Dieses Diagramm erinnert an die Beta-Verteilung (wie auch Diagramme für andere Optionen von ), deren Dichte durch gegeben ist $\beta$

G (y; p, q) = \frac{Γ (p) Γ (q)}{Γ (p + q)} y^{(p - 1)} (1 - y)^{(q - 1)} .

$g(y;p,q) = \frac{\Gamma(p)\Gamma(q)}{\Gamma(p+q)} y^{(p-1)} (1-y)^{(q-1)}.$

Mit Hilfe der maximalen Wahrscheinlichkeit oder der Methoden der Momente ist es möglich, und aus der Verteilung von zu schätzen . Daher lautet meine Frage: Wie ist die Beziehung zwischen der Auswahl von und und ? Zunächst wird der oben angegebene bivariate Fall angesprochen. $p$ $q$ $P(A=1|X)$ $\beta$ $p$ $q$

regression logistic mathematical-statistics beta-distribution Tomka
quelle

Ich habe mich gerade gefragt,

Alchemist

Antworten:

Beta ist eine Werteverteilung im -Bereich, die in ihrer Form sehr flexibel ist, sodass Sie für fast jede unimodale empirische Werteverteilung in leicht Parameter einer solchen Beta-Verteilung finden können, die der Form "ähnlich" sind der Verteilung. $(0,1)$ $(0,1)$

Beachten Sie, dass die logistische Regression Ihnen bedingte Wahrscheinlichkeiten liefert , während Sie uns auf Ihrem Plot die marginale Verteilung der vorhergesagten Wahrscheinlichkeiten präsentieren. Das sind zwei verschiedene Dinge, über die man reden muss. $\Pr(Y=1\mid X)$

Es gibt keine direkte Beziehung zwischen logistischen Regressionsparametern und Parametern der Betaverteilung, wenn die Verteilung der Vorhersagen aus dem logistischen Regressionsmodell betrachtet wird. Unten sehen Sie Daten, die mit normalen, exponentiellen und einheitlichen Verteilungen simuliert wurden, die mit Hilfe der Logistikfunktion transformiert wurden. Abgesehen davon, dass genau dieselben Parameter der logistischen Regression verwendet werden (dh ), sind die Verteilungen der vorhergesagten Wahrscheinlichkeiten sehr unterschiedlich. Die Verteilung der vorhergesagten Wahrscheinlichkeiten hängt also nicht nur von Parametern der logistischen Regression ab, sondern auch von der Verteilung der -Werte, und es gibt keine einfache Beziehung zwischen ihnen. $\beta_0 = 0, \beta_1 = 1$ $X$

Da Beta eine Werteverteilung in , können binäre Daten nicht wie bei der logistischen Regression modelliert werden. Es kann verwendet werden, um Wahrscheinlichkeiten zu modellieren , so dass wir die Beta-Regression verwenden (siehe auch hier und hier ). Wenn Sie also interessiert sind, wie sich die Wahrscheinlichkeiten (verstanden als Zufallsvariable) verhalten, können Sie für diesen Zweck die Beta-Regression verwenden. $(0,1)$

Tim
quelle

Wenn Beta eine solche Verteilung approximieren kann, sollte es dann keine Beziehung zwischen seinen Parametern und ?

β

$\beta$

Tomka

@tomka aber die Verteilung hängt von der Verteilung Ihrer Daten und von den Parametern ab, und selbst wenn eine solche Beziehung besteht, ist sie sehr kompliziert. Es gibt offensichtlich keine direkte Beziehung zwischen Regressionsparametern und Parametern der Betaverteilung. Versuchen Sie, logistische Regressionsvorhersagen unter denselben Parametern mit unterschiedlichen Verteilungen für simulieren. Die marginale Verteilung unterscheidet sich in jedem Fall.

X

$X$

Tim

Die Betaverteilung ist nicht so flexibel - sie kann keine multimodalen Verteilungen approximieren.

Marcus PS

@MarcusPS Ich habe es klarer gemacht.

Tim

@MarcusPS mit Ausnahme des Sonderfalls multimodaler Verteilungen mit Modi bei 0 und 1 ...

Ben Bolker

Die logistische Regression ist ein Sonderfall eines Generalisierten Linearen Modells (GLM). In diesem speziellen Fall von Binärdaten ist die logistische Funktion die kanonische Verknüpfungsfunktion , die das vorliegende nichtlineare Regressionsproblem in ein lineares Problem umwandelt. GLMs sind insofern etwas Besonderes, als sie nur für Verteilungen in der Exponentialfamilie gelten (wie die Binomialverteilung).

Nach Bayes'scher Schätzung ist die Beta-Verteilung das Konjugat vor der Binomialverteilung, was bedeutet, dass ein Bayes'sches Update auf eine Beta-Prior mit Binomialbeobachtungen zu einer Beta-Posterior führt. Wenn Sie also die Anzahl der Beobachtungen von Binärdaten haben, können Sie eine analytische Bayes'sche Schätzung der Parameter der Binomialverteilung unter Verwendung eines Beta-Prior erhalten.

Nach dem, was von anderen gesagt wurde, gibt es meines Erachtens keine direkte Beziehung, aber sowohl die Beta-Verteilung als auch die logistische Regression stehen in enger Beziehung zur Schätzung der Parameter von etwas, das einer Binomialverteilung folgt.

Marcus PS
quelle

Ich habe bereits +1 für die Erwähnung der Bayes'schen Perspektive gegeben, aber beachte, dass wir im Falle eines Regressionsmodells kein Beta-Binomialmodell verwenden und die Beta-Verteilung im Allgemeinen nicht als Prior für Parameter verwendet wird - zumindest im Fall einer typischen Bayes'schen Logistik Regression . Dies führt also nicht direkt zum Beta-Binomial-Modell.

Tim

$P(A=1|X)$ $X$ $X$ $N(0,1)$ $\exp(-X\beta)$ $\mu=-1$ $\beta_0=\beta_1=1$ $P(A=1|X)$

F (x) = 1 - Φ [\ln (\frac{1}{x} - 1) + 1],

$F(x)=1-\Phi\left[\ln\left(\frac{1}{x}-1\right)+1\right],$

Q (x) = \frac{1}{1 + \exp (Φ^{- 1} (1 - x) - 1)},

$Q(x)=\frac{1}{1+\exp(\Phi^{-1}(1-x)-1)},$

f (x) = \frac{1}{x (1 - x) \sqrt{2 π}} \exp (- \frac{(\ln (1 / x - 1) + 1)^{2}}{2}),

$f(x)=\frac{1}{x(1 - x)\sqrt{2\pi}}\exp\left(-\frac{(\ln(1/x-1)+1)^2}{2}\right),$

Sie können die oben in R angegebenen Ergebnisse überprüfen :

n = 100000

X = cbind(rep(1, n), rnorm(n)) # simulate design matrix
Y = 1 / (exp(-X %*% c(1,1)) + 1) # P(A=1|X)

Z1 = 1 / (rlnorm(n, -1, 1) + 1) # simulate from lognormal directly
Z2 = 1 / (1 + exp(qnorm(runif(n)) - 1)) # simulate with inverse CDF

# Kolmogorov–Smirnov test
ks.test(Y, Z1)
ks.test(Y, Z2)

# plot fitted density
new.pdf = function(x) {
  1 / (x * (1 - x) * sqrt(2 * pi)) * exp(-0.5 * (log(1 / x - 1) + 1)^2)
}
hist(Y, breaks = "FD", probability = T)
curve(new.pdf, col = 4, add = T)

Francis
quelle

x

$x$

f (x)

$f(x)$

[- inf, inf]

$[-\inf, \inf]$

P (A | X)

$P(A|X)$

[0, 1]

$[0,1]$

f (x)

$f(x)$

P (A | X)

$P(A|X)$

1 / x - 1 > 0

$1/x-1>0$

x \in (0, 1)

$x\in(0,1)$

f

$f$

X

$X$

@whuber: sieht so aus, als hätte ich etwas falsch gemacht, ich habe diesen Teil entfernt.

Francis