Inverse CDF-Abtastung für eine gemischte Verteilung

Die nicht kontextbezogene Kurzversion

Sei eine Zufallsvariable mit CDF $y$

F (\cdot) \equiv {\begin{cases} θ & y = 0 \\ θ + (1 - θ) \times {CDF}_{log-normal} (\cdot; μ, σ) & y > 0 \end{cases}

$F(\cdot) \equiv \cases{\theta & y = 0 \\ \theta + (1-\theta) \times \text{CDF}_{\text{log-normal}}(\cdot; \mu, \sigma) & y > 0}$

Angenommen, ich wollte Zeichnungen von mit der inversen CDF-Methode simulieren . Ist das möglich? Diese Funktion hat nicht genau eine Umkehrung. Andererseits gibt es eine inverse Transformationsabtastung für die Mischungsverteilung von zwei Normalverteilungen, was darauf hindeutet, dass es einen bekannten Weg gibt, hier eine inverse Transformationsabtastung anzuwenden. $y$

Ich kenne die zweistufige Methode, weiß aber nicht, wie ich sie auf meine Situation anwenden soll (siehe unten).

Die lange Version mit Hintergrund

Ich habe das folgende Modell für eine vektorwertige Antwort angepasst, , unter Verwendung von MCMC (speziell Stan): $y^i = \left( y_1 , \dots , y_K \right)^i$

θ_{k}^{ich} \equiv {logit}^{- - 1} (α_{k} x^{ich}), μ_{k}^{ich} \equiv β_{k} x^{ich} - - \frac{σ_{k}^{2}}{2} F. (\cdot) \equiv {\begin{cases} θ & y = 0 \\ θ + (1 - - θ) \times {CDF}_{log-normal} (\cdot;; μ, σ) & y> 0 \end{cases} u_{k} \equiv F. (y_{k}), z_{k} \equiv Φ^{- - 1} (u_{k}) z \sim N. (0, R.) \times \prod_{k} f (y_{k}) (α, β, σ, R.) \sim Priors

$\theta_k^i \equiv \operatorname{logit}^{-1}\left( \alpha_k x^i \right), \quad \mu_k^i \equiv \beta_k x^i - \frac{ \sigma^2_k }{ 2 } \\ F(\cdot) \equiv \cases{\theta & y = 0 \\ \theta + (1-\theta) \times \text{CDF}_{\text{log-normal}}(\cdot; \mu, \sigma) & y > 0} \\ u_k \equiv F(y_k), \quad z_k \equiv\Phi^{-1}{\left( u_k \right)} \\ z \sim \mathcal{N}(\mathbf{0}, R) \times \prod_k f(y_k) \\ \left( \alpha, \beta, \sigma, R \right) \sim \text{priors}$

wobei Beobachtungen indiziert , eine Korrelationsmatrix ist und ein Vektor von Prädiktoren / Regressoren / Merkmalen ist. $i$ $N$ $R$ $x$

Das heißt, mein Modell ist ein Regressionsmodell, bei dem angenommen wird, dass die bedingte Verteilung der Antwort eine Gaußsche Kopula mit null aufgeblasenen logarithmischen Normalrändern ist. Ich habe bereits über dieses Modell geschrieben. es stellt sich heraus, dass Song, Li und Yuan (2009, gated ) es entwickelt haben und sie nennen es einen Vektor GLM oder VGLM. Das Folgende ist ihre Spezifikation, die so wörtlich wie möglich ist: Mein

f (y;; μ, φ, Γ) = c {G_{1} (y_{1}), \dots, G_{m} (y_{m}) | Γ} \prod_{i = 1}^{m} g (y_{i}; μ_{ich}, φ_{ich}) c (u | Γ) = {| Γ |}^{- - 1 /. 2} \exp (\frac{1}{2} q^{T.} ({ich}_{m} - - Γ^{- - 1}) q) q = {(q_{1}, \dots, q_{m})}^{T.}, q_{ich} = Φ^{- - 1} (u_{ich})

$f(\mathbf{y}; \mathbf{\mu}, \mathbf{\varphi}, \Gamma) = c\{ G_1(y_1), \dots, G_m(y_m) | \Gamma \} \prod_{i=1}^m g(y_i; \mu_i, \varphi_i) \\ c(\mathbf{u} | \Gamma) = \left| \Gamma \right|^{-1/2}\exp\left( \frac{1}{2} \mathbf{q}^T \left( I_m - \Gamma^{-1} \right) \mathbf{q} \right) \\ \mathbf{q} = \left( q_1, \dots, q_m \right)^T, \quad q_i = \Phi^{-1}(u_i)$

F_{K}

$F_K$ entspricht ihrem , mein entspricht ihrem und mein entspricht ihrem ; Die Details finden Sie auf Seite 62 (Seite 3 der PDF-Datei), aber ansonsten sind sie identisch mit dem, was ich hier geschrieben habe.

G_{m}

$G_m$

z

$z$

q

$\mathbf{q}$

R

$R$

Γ

$\Gamma$

Der null-aufgeblasene Teil folgt in etwa der Spezifikation von Liu und Chan (2010, ungated ).

Jetzt möchte ich Daten aus den geschätzten Parametern simulieren, bin aber etwas verwirrt, wie ich vorgehen soll. Zuerst dachte ich, ich könnte einfach direkt simulieren (im R-Code): $y$

for (i in 1:N) {
    for (k in 1:K) {
        Y_hat <- rbinom(1, 1, 1 - theta[i, k])
        if (Y_hat == 1)
            Y_hat <- rlnorm(1, mu[i, k], sigma[k])
    }
}

was überhaupt nicht verwendet . Ich möchte versuchen, die von mir geschätzte Korrelationsmatrix tatsächlich zu verwenden. $R$

Meine nächste Idee war, Zeichnungen von zu nehmen und sie dann wieder in umzuwandeln . Dies scheint auch mit den Antworten in Generieren von Stichproben aus Copula in R und bivariaten Stichproben für die Verteilung übereinzustimmen, die im Copula-Theorem von Sklar ausgedrückt sind. . Aber was zum Teufel ist mein hier? Inverse Transformations-Sampling für die Mischungsverteilung von zwei Normalverteilungen klingt so, als wäre dies möglich, aber ich habe keine Ahnung, wie es geht. $z$ $y$ $F^{-1}$

r distributions sampling simulation copula Shadowtalker
quelle

@ Xi'an ist eine Gaußsche Kopula zur Abschätzung der Abhängigkeit zwischen den Komponenten.

y

$y$

Shadowtalker

Der Thread, auf den Sie sich bei der Probenahme aus Normalenmischungen beziehen, bezieht sich ohne wesentliche Änderung direkt auf Ihr Problem: Verwenden Sie anstelle der inversen CDFs von Normalen die inversen CDFs Ihrer beiden Komponenten. Die inverse CDF des Atoms bei ist die konstante Funktion, immer gleich .

y = 0

$y=0$

0

$0$

whuber

@whuber Ich bin nur verwirrt darüber, wie man die inversen CDFs der beiden Komponenten verwendet: Was zeichne ich, woraus zeichne ich es und woran stecke ich dann jedes Ding an?

Shadowtalker

@ Xi'an erklärt dies in seiner Antwort auf die Frage nach der normalen Mischung: Sie verwenden eine einheitliche Variable, um die Mischungskomponente auszuwählen, und ziehen dann einen Wert aus dieser Komponente (wie Sie möchten). In Ihrem Fall ist es außergewöhnlich einfach, einen Wert aus der ersten Komponente zu ziehen: Es ist immer ! Um einen Wert aus der zweiten Komponente zu ziehen, verwenden Sie einen beliebigen lognormalen Zufallszahlengenerator. In jedem Fall erhalten Sie eine Nummer: Es ist kein "Einstecken" erforderlich. Das gesamte Ziel der Zufallszahlengenerierung besteht darin, diese Zahl zu erhalten.

0

$0$

whuber

@whuber die neue Antwort hat es für mich geklärt. Danke euch beiden.

Shadowtalker

Antworten:

Die Antwort auf die Langfassung mit Hintergrund:

Diese Antwort auf die lange Version spricht etwas ein anderes Problem an, und da wir anscheinend Schwierigkeiten haben, das Modell und das Problem zu formulieren, entscheide ich mich, es hier hoffentlich richtig zu formulieren.

Für $1\le i\le I$ , das Ziel zu simulieren Vektoren $y^i=(y^i_1,\ldots,y^i_K)$ , so daß, bedingt auf einem covariate $x^i$ ,

y_{k}^{ich} = {\begin{cases} 0 & mit Wahrscheinlichkeit {logit}^{- - 1} (α_{k} x^{ich}) \\ Log (σ_{k} z_{k}^{ich} + β_{k} x^{ich}) & mit Wahrscheinlichkeit 1 - - {logit}^{- - 1} (α_{k} x^{ich}) \end{cases}

$y_k^i = \begin{cases} 0 &\text{ with probability }\operatorname{logit}^{-1}\left( \alpha_k x^i \right)\\ \log(\sigma_k z_k^i + \beta_k x^i) &\text{ with probability }1-\operatorname{logit}^{-1}\left( \alpha_k x^i \right)\end{cases}$ mit

z^{i} = (z_{1}^{i}, \dots, z_{K}^{i}) \sim N_{K} (0, R)

$z^i=(z^i_1,\ldots,z^i_K)\sim\mathcal{N}_K(0,R)$ . Wenn man also Daten aus diesem Modell simulieren möchte, kann man wie folgt vorgehen:

Für $1\le i\le I$ ,

Erzeugen Sie $z^i=(z^i_1,\ldots,z^i_K)\sim\mathcal{N}_K(0,R)$
Generiere $u^i_1,\ldots,u^i_K \stackrel{\text{iid}}{\sim} \mathcal{U}(0,1)$
Leiten Sie $y^i_k=\mathbb{I}\left\{u^i_k>\operatorname{logit}^{-1}\left( \alpha_k x^i \right)\right\}\, \log\{ \sigma_k z_k^i + \beta_k x^i\}$ für $1\le k\le K$

Wenn man bei der Erzeugung von posterior interessierten wird $(\alpha,\beta,\mu,\sigma,R)$ angesichts der $y^i_ k$ , dies ist ein schwierigeres Problem, wenn auch möglich , durch Gibbs-Sampling oder ABC.

Xi'an
quelle

Ich wusste, dass mir etwas fehlte. "Im Nachhinein ist alles offensichtlich." Meine Absicht: Ich interessiere mich für den Wert von

, also ja, ich bin daran interessiert, aus dem gemeinsamen hinteren Teil der Parameter zu zeichnen. Ich möchte, dass die simulierten

sehen, ob das Modell passt.

F (y^{i} | x^{i})

$F(y^i | x^i)$

y

$y$

Shadowtalker

Wie ist das zweite Problem viel schwieriger? Ich habe das Modell bereits geschätzt und ich habe hintere Zeichnungen. Wir können im Chat fortfahren, wenn Sie möchten, um die Kommentare hier nicht zu überladen.

Shadowtalker

Oh, im Allgemeinen ja. Zum Glück erledigen Stan und der No-U-Turn-Sampler dort die harte Arbeit für mich.

Shadowtalker

Die Antwort auf die nicht kontextbezogene Kurzversion:

Das "Invertieren" eines PDFs, das im mathematischen Sinne nicht invertierbar ist (wie Ihre gemischte Verteilung), ist möglich, wie in den meisten Monte-Carlo-Lehrbüchern beschrieben. (Wie bei uns , siehe Lemma 2.4.) Wenn Sie die verallgemeinerte Inverse definieren dann ist

{F.}^{- -} (u) = inf {x \in R.;; F. (x) \geq u}}

$F^{-}(u) = \inf\left\{ x\in\mathbb{R};\ F(x)\ge u \right\}$

Dies bedeutet, dass, wenn

bei

einen Sprung von

für

. Mit anderen Worten, wenn Sie ein einheitlichen zeichnen

und es endet kleiner als

, Ihre Generation

ist

. Sonst, wenn

X. \sim F. ist äquivalent zu X. = {F.}^{- -} (U.) wann U. \sim U. (0, 1) .

$X \sim F \text{ is equivalent to } X=F^{-}(U)\text{ when } U\sim\mathcal{U}(0,1)\,.$

F (y)

$F(y)$

θ

$\theta$

y = 0

$y=0$

F^{-} (u) = 0

$F^{-}(u)=0$

u \leq θ

$u\le\theta$

U (0, 1)

$\mathcal{U}(0,1)$

θ

$\theta$

X

$X$

x = 0

$x=0$

u > θ

$u>\theta$ Am Ende generieren Sie aus dem kontinuierlichen Teil, nämlich der logarithmischen Normalität in Ihrem Fall. Dies bedeutet, dass eine zweite gleichmäßige Zufallsgenerierung

unabhängig von der ersten gleichmäßigen Zeichnung verwendet wird und

, um eine logarithmische Normalgenerierung zu erhalten.

v

$v$

y = \exp (μ + σ Φ^{- 1} (v))

$y=\exp(\mu+\sigma\Phi^{-1}(v))$

Dies ist fast das, was Ihr R-Code ist

Y_hat <- rbinom(1, 1, theta[i, k]) if (Y_hat == 1) Y_hat <- rlnorm(1, mu[i, k], sigma[k])

$\theta_k^i$ $1$ $\theta_k^i$

Y_hat <- rbinom(1, 1, theta[i, k])
    if (Y_hat == 0)
        Y_hat <- rlnorm(1, mu[i, k], sigma[k])

Xi'an
quelle

z

$z$

u_{k} = Φ (z_{k})

$u_k = \Phi(z_k)$

y_{k} = 0

$y_k = 0$

u_{k} \leq θ

$u_k \leq \theta$

y_{k} = F_{log-normal}^{- 1} (u_{k})

$y_k = F^{-1}_\text{log-normal}(u_k)$

0

$0$

z

$z$

y

$y$

F_{1}, \dots, F_{K}

$F_1, \dots, F_K$

G_{1}, \dots, G_{m}

$G_1, \dots, G_m$