Die Überprüfung eines Seitenzahns ist richtig

In einem Lehrbuch gibt es ein Hausaufgabenproblem, bei dem die Richtigkeit einer bestimmten posterioren Verteilung überprüft werden soll, und ich habe ein kleines Problem damit. Das Setup besteht darin, dass Sie ein logistisches Regressionsmodell mit einem Prädiktor haben und eine falsche Uniform vor . $\mathbb{R}^2$

Insbesondere nehmen wir für dass also Die Wahrscheinlichkeit ist Das Problem ist, dass ich vermute, dass dieser hintere tatsächlich unpassend ist. $i=1,\ldots,k$

y_{i} ∣ α, β, x_{i} \sim Binomial (n, invlogit (α + β x_{i})),

$y_i \mid \alpha, \beta,x_i \sim \text{Binomial}(n,\text{invlogit}(\alpha + \beta x_i)),$

p (y ∣ α, β, x) = \prod_{i = 1}^{k} [invlogit (α + β x_{i})]^{y_{i}} [1 - invlogit (α + β x_{i})]^{n - y_{i}} .

$p(y \mid \alpha, \beta, x ) = \prod_{i=1}^k [\text{invlogit}(\alpha + \beta x_i)]^{y_i}[1-\text{invlogit}(\alpha + \beta x_i)]^{n-y_i}.$

Für die spezifische Situation mit können wir sehen, dass , wenn wir die Änderung der Variablen und In der Zeile mit dem Sternchen nehmen wir an, dass ist. Wenn dies nicht der Fall ist, erhalten wir dasselbe. $k=1$ $s_1 = \text{invlogit}(\alpha + \beta x)$ $s_2 = \beta$

\begin{aligned} \iint_{R^{2}} p (y ∣ α, β, x) d α d β & = \iint_{R^{2}} [invlogit (α + β x)]^{y} [1 - invlogit (α + β x)]^{n - y} d α d β \\ = \int_{- \infty}^{\infty} \int_{0}^{1} s_{1}^{y - 1} (1 - s_{1})^{n - y - 1} d s_{1} d s_{2} \\ (*) & = B (y, n - y) \int_{- \infty}^{\infty} 1 d s_{2} \\ = \infty . \end{aligned}

$\begin{align*} \iint_{\mathbb{R}^2}p(y \mid \alpha, \beta, x ) \text{d}\alpha \text{d}\beta &= \iint_{\mathbb{R}^2}[\text{invlogit}(\alpha + \beta x)]^{y}[1-\text{invlogit}(\alpha + \beta x)]^{n-y} \text{d}\alpha \text{d}\beta \\ &= \int_{-\infty}^{\infty}\int_0^1 s_1^{y-1}(1-s_1)^{n-y-1} \text{d}s_1 \text{d}s_2 \\ &= B(y,n-y) \int_{-\infty}^{\infty} 1 \text{d}s_2 \tag{*}\\ &= \infty. \end{align*}$

0 < y < n

$0 < y < n$

Mache ich hier etwas Dummes? Oder ist das ein unpassender posterior?

logistic bayesian posterior improper-prior Taylor
quelle

Auf einen Blick - ohne Rücksicht auf die Details - finde ich es außerordentlich seltsam, dass (a) Sie sowohl positive als auch negative Werte von

β

$\beta$ und (b) ein Faktor von

1 / β

$1/\beta$ nicht erscheint, wenn Sie Variablen ändern. Vielleicht löst ein wenig Aufmerksamkeit für die Mechanik der Integration Ihr Problem.

whuber

Ich habe keine Mathematik durchgeführt, um dies zu belegen, aber sowohl meine Intuition als auch mein Gedächtnis sagen, dass Sie Recht haben und dass der hintere Teil nicht richtig sein muss. Wenn Sie korrigieren, ist analog dazu ein flacher Prior auf der Haldane-Prior, was nicht immer zu richtigen Posterioren führt.

β = 0

$\beta = 0$

α

$\alpha$

Kerl

Für können Sie direkt aus Ihrer Gleichung die Wahrscheinlichkeit erkennen, dass die hintere Dichte entlang von Parameterkombinationen konstant ist, für die konstante Werte annimmt. Der hintere Teil ist also in der Tat unpassend und hat die Form eines Kamms für . Grundsätzlich passt jede Regressionslinie, die der beobachteten Antwort bei , zu den Daten. Aber für wäre ich überrascht, wenn der Posterior nicht richtig wäre, außer in entarteten Fällen wie oder Fällen linearer Trennung.

k = 1

$k=1$

p (α, β | y_{1}, x_{1})

$p(\alpha,\beta|y_1,x_1)$

α + β x_{i}

$\alpha + \beta x_i$

k = 1

$k=1$

x_{1}

$x_1$

k > 1

$k>1$

x_{1} = x_{2}

$x_1=x_2$

Jarle Tufto

@ Xi'an das ist, woher die s kamen

- 1

$-1$

Taylor

Die Erklärung von @JarleTufto ist völlig zutreffend: Die Verteilung von hängt nur von und kann daher keine Informationen über und liefern . Daher ein unpassender posterior. Es gibt auch ein Problem für weitere Beobachtungen, wenn alle gleich oder alle gleich .

Y

$Y$

α + β x

$\alpha+\beta x$

α

$\alpha$

β

$\beta$

y_{i}

$y_i$

0

$0$

n

$n$

Xi'an

Antworten:

Für können Sie direkt aus Ihrer Gleichung die Wahrscheinlichkeit dass die hintere Dichte entlang der Parallellinien konstant ist, bei denen konstante Werte annimmt. Der hintere Teil ist also in der Tat unpassend und hat die Form eines Kamms für . Grundsätzlich ist jede Regressionslinie, die der beobachteten Antwort bei , gleich gut. $𝑘=1$ $𝑝(𝛼,𝛽|𝑦_1,𝑥_1)$ $𝛼+𝛽𝑥_𝑖$ $𝑘=1$ $𝑥_1$

Nehmen wir als nächstes an, wir haben Beobachtungen. Betrachten Sie die Neuparametrisierung durch Da dies eine lineare Transformation von mit ist Eine konstante Determinante des Prior für ist auch über einheitlich , vorausgesetzt, . Betrachten Sie die weitere Neuparametrisierung, die inverse Logit-Transformation für . Es ist klar, dass auch a priori unabhängig von den durch angegebenen Dichten sind $k=2$

\begin{aligned} η_{1} & = α + β x_{1} \\ η_{2} & = α + β x_{2} \end{aligned}

$\begin{align} \eta_1 &= \alpha + \beta x_1 \\ \eta_2 &= \alpha + \beta x_2 \end{align}$

α, β

$\alpha,\beta$

η_{1}, η_{2}

$\eta_1,\eta_2$

R^{2}

$\mathbb{R}^2$

x_{1} \neq x_{2}

$x_1\neq x_2$

\begin{aligned} p_{i} = \frac{1}{1 + e^{- η_{i}}}, \end{aligned}

$\begin{align} p_i = \frac1{1+e^{-\eta_i}}, \end{align}$

i = 1, 2

$i=1,2$

p_{1}, p_{2}

$p_1,p_2$

π (p_{i}) = π (η_{i}) | \frac{d η_{i}}{d p_{i}} | \propto \frac{d}{d p_{i}} \ln \frac{p_{i}}{1 - p_{i}} = \frac{1}{(1 - p_{i}) p_{i}}

$\pi(p_i)=\pi(\eta_i)\Big|\frac{d\eta_i}{dp_i}\Big|\propto \frac d{dp_i}\ln\frac{p_i}{1-p_i} = \frac1{(1-p_i)p_i}$ Dies sind sogenannte unpassende Haldane-Priors , die als eine bestimmte Form der Begrenzung der Dichte einer Beta-Verteilung interpretiert werden können, wobei beide Parameter gegen Null gehen. Bedingt durch die Daten , vorausgesetzt, dass , ist die hintere Randdichte für jedes die richtige Beta-Verteilung mit den Parametern . Bei der Rücktransformation müssen auch die posterioren Verteilungen von und korrekt sein. Dies gilt außer in besonderen Fällen wie einem

y_{1}, y_{2}

$y_1,y_2$

0 < y_{i} < n

$0<y_i<n$

p_{i}

$p_i$

y_{i}, n - y_{i}

$y_i,n-y_i$

(η_{1}, η_{2})

$(\eta_1,\eta_2)$

(α, β)

$(\alpha,\beta)$

y_{i}

$y_i$ Nehmen Sie einen Wert von 0 oder In diesem Fall ist die normalisierende Beta-Funktion unendlich und der hintere Teil von (und damit der hintere Teil von und ) unpassend.

n

$n$

B (y_{i}, n - y_{i})

$B(y_i,n-y_i)$

p_{i}

$p_i$

α

$\alpha$

β

$\beta$

Für Beobachtungen muss auch der Posterior geeignet sein, da die nicht normalisierte posteriore Dichte von basierend auf den ersten Beobachtungen durch den Posterior begrenzt wird . $k>2$ $\alpha,\beta$ $k=2$

Jarle Tufto
quelle

Ich bin mir nicht sicher, ob unsere beiden Antworten mathematisch nicht übereinstimmen. Ich sage, das Integral ist unendlich, wenn jedes , und Sie sagen, das Integral ist endlich, wenn alle streng zwischen den Endpunkten liegen. Dies mag auch davon abhängen, wen Sie fragen, aber ich hatte den Eindruck, dass ein Posterior, der nicht für alle möglichen Datenpunkte geeignet ist, als "unangemessen" definiert wird. Haldanes Prior ist ein Beispiel dafür, wo dies geschieht.

y_{i} = n

$y_i=n$

y_{i}

$y_i$

Taylor

Aber Ihre Ungleichungen besagen, dass das Integral des nicht normalisierten Seitenzahns (für jedes ) (die linke Seite der ersten Ungleichung) unendlich ist, so dass es eine Meinungsverschiedenheit gibt. Ich bin mir nicht sicher, aber der letzte Schritt, bei dem die beiden Integrale kombiniert werden, scheint nicht nur das zu beinhalten, was Sie als und definiert haben, sondern auch usw. also vielleicht das ist, wo der Fehler ist.

y_{i}

$y_i$

s_{1}

$s_1$

s_{2}

$s_2$

invlogit (α + β x_{(n)})

$\mbox{invlogit}(\alpha + \beta x_{(n)})$

Jarle Tufto

ja, du hast Recht. Die Integranden sind an diesen beiden Stellen unterschiedlich, sodass Sie sie nicht kombinieren können.

Taylor

Leider wird davon ausgegangen, dass was der häufigste Fall ist.

n > 1

$n>1$

Taylor

Es ist unangemessen, glaube ich. Ich muss nur beweisen, dass Funktion bezeichnen Nun, da eine monoton ansteigende Funktion ist, haben wir bei

\int_{α \in R β > 0} p (y ∣ α, β, x) = + \infty .

$\int\limits_{\alpha \in \mathbb{R} \\ \beta>0} p(y \mid \alpha, \beta, x) = +\infty.$

σ = i n v l o g i t

$\sigma = \mathrm{invlogit}$

σ

$\sigma$

β > 0

$\beta > 0$

σ (α + β x_{i}) > σ (α - β max | x_{i} |) > 0,

$\mathrm{\sigma}(\alpha + \beta x_i) > \mathrm{\sigma}(\alpha - \beta \max |x_i|) > 0,$

1 - σ (α + β x_{i}) > 1 - σ (α + β max | x_{i} |) > 0.

$1 - \mathrm{\sigma}(\alpha + \beta x_i) > 1 - \mathrm{\sigma}(\alpha + \beta \max |x_i|) > 0.$

Somit ist das Integral

\begin{aligned} \int_{α \in R β > 0} p (y ∣ α, β, x) > & \int_{α \in R β > 0} \prod {[σ (α - β max | x_{i} |)]}^{y_{i}} {[1 - σ (α + β max | x_{i} |)]}^{n_{i} - y_{i}} \\ > & \int_{α \in R β > 0} \prod {[σ (α - β max | x_{i} |)]}^{max n_{i}} {[1 - σ (α + β max | x_{i} |)]}^{max n_{i}} \\ > & \int_{α \in R β > 0} {[σ (α - β max | x_{i} |)]}^{k max n_{i}} {[1 - σ (α + β max | x_{i} |)]}^{k max n_{i}} \end{aligned}

$\begin{aligned} \int\limits_{\alpha \in \mathbb{R} \\ \beta>0} p(y \mid \alpha, \beta, x) >& \int\limits_{\alpha \in \mathbb{R} \\ \beta>0} \prod \left[ \mathrm{\sigma}(\alpha - \beta \max |x_i|) \right]^{y_i} \left[ 1 - \mathrm{\sigma}(\alpha + \beta \max |x_i|) \right]^{n_i - y_i} \\ >& \int\limits_{\alpha \in \mathbb{R} \\ \beta>0} \prod \left[ \mathrm{\sigma}(\alpha - \beta \max |x_i|) \right]^{\max n_i} \left[ 1 - \mathrm{\sigma}(\alpha + \beta \max |x_i|) \right]^{\max n_i} \\ >& \int\limits_{\alpha \in \mathbb{R} \\ \beta>0} \left[ \mathrm{\sigma}(\alpha - \beta \max |x_i|) \right]^{k\max n_i} \left[ 1 - \mathrm{\sigma}(\alpha + \beta \max |x_i|) \right]^{k\max n_i} \\ \end{aligned}$

Weitere Eigenschaften zu werden benötigt: $\sigma$

{(σ (x))}^{N} = \frac{1}{(1 + e^{- x})^{N}} > \frac{1}{2^{N} (max {1, e^{- x}})^{N}} = \frac{1}{2^{N} (max {1, e^{- N x}})} > \frac{1}{2^{N}} σ (N x)

$\left( \sigma(x) \right)^N = \frac{1}{(1+e^{-x})^N} > \dfrac{1}{2^N (\max\{1,e^{-x}\}) ^N} = \dfrac{1}{2^N (\max\{1,e^{-Nx}\})} > \dfrac{1}{2^N}\sigma(Nx)$

Sei, , dann $\xi = \alpha - \beta \max |x_i|$ $\eta = \alpha + \beta \max |x_i|, N=k\max n_i$

\begin{aligned} \int_{α \in R β > 0} p (y ∣ α, β, x) > & \int_{α \in R β > 0} {[σ (α - β max | x_{i} |)]}^{N} {[1 - σ (α + β max | x_{i} |)]}^{N} \\ \propto & \int_{- \infty < ξ < η < + \infty} {[σ (ξ)]}^{N} {[σ (- η)]}^{N} \\ > & \frac{1}{2^{2 N}} \int_{ξ}^{+ \infty} (\int_{- \infty}^{+ \infty} σ (N ξ) d ξ) σ (- N η) d η \\ = & + \infty \end{aligned}

$\begin{aligned} \int\limits_{\alpha \in \mathbb{R} \\ \beta>0} p(y \mid \alpha, \beta, x) >& \int\limits_{\alpha \in \mathbb{R} \\ \beta>0} \left[ \mathrm{\sigma}(\alpha - \beta \max |x_i|) \right]^{N} \left[ 1 - \mathrm{\sigma}(\alpha + \beta \max |x_i|) \right]^{N} \\ \propto& \int\limits_{-\infty < \xi < \eta < +\infty} \left[ \mathrm{\sigma}(\xi) \right]^{N} \left[ \mathrm{\sigma}(-\eta) \right]^{N}\\ >& \frac{1}{2^{2N}}\int\limits_{\xi}^{+\infty} \Big( \int\limits_{-\infty}^{+\infty} \mathrm{\sigma}(N\xi) \mathrm{d}\xi \Big) ~ \mathrm{\sigma}(- N\eta) \mathrm{d}\eta \\ =& +\infty \end{aligned}$

Dummes Lied
quelle

Ich habe eine Ausgabe gemacht. Hoffe es ist richtig.

Dumme Lied

Im vorletzten Schritt denke ich, dass die Grenzen des Doppelintegrals falsch sind. Ich bekomme stattdessen Mit Maple finde ich, dass dieses Doppelintegral endlich ist und gleich . Alles, was Sie basierend auf Ihrer Ableitung sagen können, ist, dass die Normalisierungskonstante des posterioren von größer ist als etwas Endliches.

\begin{aligned} \int_{- \infty}^{\infty} σ (- N η) \int_{- \infty}^{η} σ (N ξ) d ξ d η \end{aligned}

$\begin{align} \int_{-\infty}^\infty\sigma(-N\eta)\int_{-\infty}^\eta\sigma(N\xi) d\xi d\eta \end{align}$

π / (6 N^{2})

$\pi/(6N^2)$

α, β

$\alpha,\beta$

Jarle Tufto

Ich habe bereits eine Antwort akzeptiert, wollte aber darauf hinweisen, dass der Posterior nicht für alle möglichen Datensätze geeignet ist. Der hintere Teil ist proportional zur Wahrscheinlichkeit, die Wenn , dann vereinfacht sich dies zu

\prod_{i = 1}^{k} [invlogit (α + β x_{i})]^{y_{i}} [1 - invlogit (α + β x_{i})]^{n - y_{i}} .

$\prod_{i=1}^k [\text{invlogit}(\alpha + \beta x_i)]^{y_i}[1-\text{invlogit}(\alpha + \beta x_i)]^{n-y_i}.$

y_{1} = y_{2} = \dots = y_{k} = n

$y_1 = y_2 = \cdots = y_k = n$

\prod_{i = 1}^{k} [invlogit (α + β x_{i})]^{n},

$\prod_{i=1}^k [\text{invlogit}(\alpha + \beta x_i)]^n,$

und wir können sehen, dass

\begin{aligned} \int_{- \infty}^{\infty} \int_{- \infty}^{\infty} \prod_{i = 1}^{k} [invlogit (α + β x_{i})]^{n} d α d β \\ \geq \int_{0}^{\infty} \int_{- \infty}^{\infty} \prod_{i = 1}^{k} [invlogit (α + β x_{i})]^{n} d α d β \\ \geq \int_{0}^{\infty} \int_{- \infty}^{\infty} [invlogit (α + β x_{(1)})]^{n k} d α d β \\ \geq \int_{0}^{\infty} \int_{- \infty}^{\infty} [invlogit (r_{1})]^{n k} d r_{1} d r_{2} \\ = \infty . \end{aligned}

$\begin{align*} &\int_{-\infty}^{\infty}\int_{-\infty}^{\infty} \prod_{i=1}^k [\text{invlogit}(\alpha + \beta x_i)]^n \text{d}\alpha \text{d}\beta\\ &\ge \int_0^{\infty}\int_{-\infty}^{\infty} \prod_{i=1}^k [\text{invlogit}(\alpha + \beta x_i)]^n \text{d}\alpha \text{d}\beta \\ &\ge \int_0^{\infty}\int_{-\infty}^{\infty} [\text{invlogit}(\alpha + \beta x_{(1)})]^{nk} \text{d}\alpha \text{d}\beta \\ &\ge \int_0^{\infty}\int_{-\infty}^{\infty} [\text{invlogit}(r_1)]^{nk} \text{d}r_1 \text{d}r_2 \\ &= \infty. \end{align*}$

Taylor
quelle