Werden Bayesianische Priors bei großen Stichproben irrelevant?

26

Bei der Bayes'schen Inferenz maximieren wir unsere Wahrscheinlichkeitsfunktion in Kombination mit den Prioritäten, die wir für die Parameter haben. Da die Log-Wahrscheinlichkeit praktischer ist, maximieren wir effektiv Verwendung einer MCMC oder auf andere Weise, die die hinteren Verteilungen generiert (unter Verwendung eines PDFs für die Priorität jedes Parameters und die Wahrscheinlichkeit jedes Datenpunkts). $\sum \ln (\text{prior}) + \sum \ln (\text{likelihood})$

Wenn wir über eine Menge Daten verfügen, wird die Wahrscheinlichkeit, dass sich daraus Daten ergeben, durch einfache Mathematik überwältigen. Letztendlich ist dies gut und beabsichtigt; wir wissen, dass der posterior nur mit der Wahrscheinlichkeit von mehr Daten konvergieren wird, weil es so sein soll.

Für Probleme, die von konjugierten Vorfahren definiert wurden, ist dies sogar genau nachweisbar.

Gibt es eine Möglichkeit zu entscheiden, wann Prioritäten für eine bestimmte Wahrscheinlichkeitsfunktion und eine bestimmte Stichprobengröße keine Rolle spielen?

bayesian prior Pixel
quelle

3

Dein erster Satz ist nicht richtig. Bayes'sche Inferenz und der MCMC-Algorithmus maximieren die Wahrscheinlichkeit nicht.

Niandra82

5

Kennen Sie die marginale Wahrscheinlichkeit, Bayes-Faktoren, die Verteilung vor / nach der Vorhersage und die Prüfung vor / nach der Vorhersage? Diese Art von Dingen würden Sie verwenden, um Modelle in einem Bayes'schen Paradigma zu vergleichen. Ich denke, diese Frage läuft darauf hinaus, ob der Bayes-Faktor zwischen Modellen, die sich nur durch den vorherigen unterscheiden, gegen 1 konvergiert, wenn die Stichprobengröße unendlich wird. Möglicherweise möchten Sie auch Prioritäten beiseite legen, die innerhalb des durch die Wahrscheinlichkeit implizierten Parameterraums abgeschnitten sind, da dies möglicherweise die Konvergenz des Ziels mit der maximalen Wahrscheinlichkeitsschätzung verhindern kann.

Zachary Blumenfeld

@ ZacharyBlumenfeld: Dies könnte als richtige Antwort qualifizieren!

Xi'an

Ist die korrigierte Form "Maximierung der Bayes'schen Regel"? Außerdem basieren die Modelle, mit denen ich arbeite, auf physischen Daten, sodass abgeschnittene Parameterräume für die Arbeit erforderlich sind. (Ich stimme auch zu, dass Ihre Kommentare wahrscheinlich eine Antwort sind. Können Sie sie @ ZacharyBlumenfeld näher erläutern?)

Pixel

37

So einfach ist das nicht. Informationen in Ihren Daten überwältigen frühere Informationen. Nicht nur Ihre Stichprobengröße ist groß, sondern auch, wenn Ihre Daten genügend Informationen enthalten, um die früheren Informationen zu überdecken. Nicht informative Prioritäten lassen sich leicht von Daten überzeugen, während stark informative Prioritäten widerstandsfähiger sein können. Im Extremfall können Ihre Daten bei schlecht definierten Prioritäten diese möglicherweise überhaupt nicht überwinden (z. B. Nulldichte in bestimmten Regionen).

Recall , dass von Bayes Theorem verwenden wir zwei Informationsquellen im statistischen Modell, out-of-Daten, vor Informationen und Informationen , die von Daten in befördert Likelihood - Funktion:

hintere \propto vor \times Wahrscheinlichkeit

$\color{violet}{\text{posterior}} \propto \color{red}{\text{prior}} \times \color{lightblue}{\text{likelihood}}$

Bei Verwendung nicht informativer Prioritäten (oder maximaler Wahrscheinlichkeiten) versuchen wir, möglichst wenige Vorinformationen in unser Modell aufzunehmen. Mit informativen Priors bringen wir eine erhebliche Menge an Informationen in das Modell ein. Sowohl die Daten als auch die vorherigen geben uns Auskunft darüber, welche Werte der geschätzten Parameter plausibler oder glaubwürdiger sind. Sie können unterschiedliche Informationen einbringen und in einigen Fällen die jeweils anderen überwältigen.

Lassen Sie mich dies mit einem sehr einfachen Beta-Binomial-Modell veranschaulichen (siehe hier für ein detailliertes Beispiel ). Mit "uninformativem" Vorgänger kann eine ziemlich kleine Stichprobe ausreichen, um sie zu überwältigen. In den Darstellungen unten sehen Sie die Prioritäten (rote Kurve), die Wahrscheinlichkeit (blaue Kurve) und die Posterioren (violette Kurve) desselben Modells mit unterschiedlichen Stichprobengrößen.

Auf der anderen Seite können Sie informative Prioritäten haben, die dem wahren Wert nahe kommen. Dies ist ebenfalls einfach, aber nicht so einfach wie bei wöchentlichen informativen Prioritäten, die von Daten überzeugt werden.

Bei informativen Prioritäten ist der Fall ganz anders, wenn es weit von den Daten entfernt ist (unter Verwendung der gleichen Daten wie im ersten Beispiel). In diesem Fall benötigen Sie eine größere Stichprobe, um den vorherigen zu überwinden.

Es geht also nicht nur um die Stichprobengröße, sondern auch um Ihre Daten und Ihre Prioritäten. Beachten Sie, dass es sich um ein gewünschtes Verhalten, denn wenn informativ priors verwenden wir mögen , um möglicherweise umfasst out-of-Dateninformationen in unserem Modell und das wäre unmöglich, wenn große Proben würden immer die priors verwerfen.

Aufgrund der komplizierten Beziehung zwischen posteriorer Wahrscheinlichkeit und vorheriger Wahrscheinlichkeit ist es immer gut, die posteriore Verteilung zu betrachten und einige posteriore Vorhersageprüfungen durchzuführen (Gelman, Meng und Stern, 1996; Gelman und Hill, 2006; Gelman et al., 2004). Darüber hinaus können Sie, wie von Spiegelhalter (2004) beschrieben, verschiedene Prioritäten verwenden, zum Beispiel "pessimistisch", die Zweifel an großen Effekten ausdrücken, oder "enthusiastisch", die optimistisch in Bezug auf geschätzte Effekte sind. Der Vergleich des Verhaltens verschiedener Priors mit Ihren Daten kann hilfreich sein, um informell zu beurteilen, inwieweit der posterior durch den vorherigen Einfluss beeinflusst wurde.

Spiegelhalter, DJ (2004). Bayesianische Ideen in die Bewertung des Gesundheitswesens einbeziehen. Statistical Science, 156 & ndash; 174.

Gelman, A., Carlin, JB, Stern, HS und Rubin, DB (2004). Bayesianische Datenanalyse. Chapman & Hall / CRC.

Gelman, A. und Hill, J. (2006). Datenanalyse mit Regression und mehrstufigen / hierarchischen Modellen. Cambridge University Press.

Gelman, A., Meng, XL und Stern, H. (1996). Posteriore prädiktive Beurteilung der Modelleignung über realisierte Diskrepanzen. Statistica sinica, 733 & ndash; 760.

Tim
quelle

2

Netter Beitrag, danke Tim. Ich möchte hinzufügen, dass der Kontrast, den Sie hier so schön darstellen, sich selbst innerhalb ein und desselben Modells in Bezug auf verschiedene Parameter dieses Modells darstellen kann. Es kann einige Parameter geben, über die die Daten vernachlässigbare Informationen liefern. In diesem Fall können Prioritäten kritisch dazu dienen, identifizierende Einschränkungen bereitzustellen .

David C. Norris

Sind die Grafiken in der ersten 3x3-Matrix der Grafiken korrekt? Der posterior ist vollständig flach bis einschließlich n = 25?

MichiganWater

1

@MichiganWater Für jede 9-Plot-Sammlung wird dieselbe Skalierung für die y-Achse verwendet, damit die größten Werte nicht aus dem Bildschirm verschwinden. Sie sind also flach im Vergleich zu dem Fall, in dem Sie mehr Daten haben. Wenn Sie "hineingezoomt" haben, sind sie nicht flach.

Tim

11

Bei der Bayes'schen Inferenz maximieren wir unsere Wahrscheinlichkeitsfunktion in Kombination mit den Prioritäten, die wir für die Parameter haben.

Dies ist eigentlich nicht das, was die meisten Praktizierenden als bayesianische Folgerung betrachten. Es ist möglich, Parameter auf diese Weise zu schätzen, aber ich würde es nicht Bayes'sche Folgerung nennen.

In der Bayes'schen Inferenz werden Posteriorverteilungen verwendet, um Posteriorwahrscheinlichkeiten (oder Wahrscheinlichkeitsverhältnisse) für konkurrierende Hypothesen zu berechnen.

Posteriore Verteilungen können empirisch mit Monte-Carlo- oder Markov-Chain-Monte-Carlo-Techniken (MCMC) geschätzt werden.

Abgesehen von diesen Unterscheidungen stellt sich die Frage

Werden Bayesianische Priors bei großen Stichproben irrelevant?

hängt immer noch vom Kontext des Problems ab und was Sie interessiert.

Wenn Ihnen die Vorhersage bei einer bereits sehr großen Stichprobe wichtig ist, lautet die Antwort in der Regel Ja, die Prioritäten sind asymptotisch irrelevant *. Wenn Ihnen jedoch die Modellauswahl und das Testen der Bayes'schen Hypothese am Herzen liegen, lautet die Antwort "Nein". Die Prioritäten spielen eine große Rolle und ihr Effekt verschlechtert sich nicht mit der Stichprobengröße.

* Hier gehe ich davon aus, dass die Prioritäten nicht über den durch die Wahrscheinlichkeit implizierten Parameterraum hinaus abgeschnitten / zensiert werden und dass sie nicht so schlecht spezifiziert sind, dass sie in wichtigen Regionen Konvergenzprobleme mit einer Dichte nahe Null verursachen. Mein Argument ist auch asymptotisch, was mit allen üblichen Einschränkungen einhergeht.

Prädiktive Dichte

$\mathbf{d}_N = (d_1, d_2,...,d_N)$ $d_i$ $f(\mathbf{d}_N\mid \theta)$ $\theta$

$\pi_0 (\theta \mid \lambda_1)$ $\pi_0 (\theta \mid \lambda_2)$ $\lambda_1 \neq \lambda_2$

π_{N} (θ ∣ d_{N}, λ_{j}) \propto f (d_{N} ∣ θ) π_{0} (θ ∣ λ_{j}) f o r j = 1, 2

$\pi_N (\theta \mid \mathbf{d}_N, \lambda_j) \propto f(\mathbf{d}_N\mid \theta)\pi_0 ( \theta \mid \lambda_j)\;\;\;\;\;\mathrm{for}\;\;j=1,2$

$\theta^*$ $\theta^{j}_N \sim \pi_N(\theta\mid \mathbf{d}_N, \lambda_j)$ $\hat \theta_N = \max_\theta\{ f(\mathbf{d}_N\mid \theta) \}$ $\theta^{1}_N$ $\theta^{2}_N$ $\hat \theta_N$ $\theta^*$ $\varepsilon >0$

\begin{aligned} lim_{N \to \infty} P r (| θ_{N}^{j} - θ^{*} | \geq ε) & = 0 \forall j \in {1, 2} \\ lim_{N \to \infty} P r (| {\hat{θ}}_{N} - θ^{*} | \geq ε) & = 0 \end{aligned}

$\begin{align} \lim_{N \rightarrow \infty} Pr(|\theta^j_N - \theta^*| \ge \varepsilon) &= 0\;\;\;\forall j \in \{1,2\} \\ \lim_{N \rightarrow \infty} Pr(|\hat \theta_N - \theta^*| \ge \varepsilon) &= 0 \end{align}$

$\theta^j_N = \max_\theta \{\pi_N (\theta \mid \mathbf{d}_N, \lambda_j)\}$

$f(\tilde d \mid \mathbf{d}_N, \lambda_j) = \int_{\Theta} f(\tilde d \mid \theta,\lambda_j,\mathbf{d}_N)\pi_N (\theta \mid \lambda_j,\mathbf{d}_N)d\theta$ $f(\tilde d \mid \mathbf{d}_N, \theta^j_N)$ $f(\tilde d\mid \mathbf{d}_N, \theta^*)$

Modellauswahl und Hypothesentest

Wenn man sich für die Bayes'sche Modellauswahl und das Testen von Hypothesen interessiert, sollte man sich bewusst sein, dass die Wirkung des Prior nicht asymptotisch verschwindet.

$f(\mathbf{d}_N \mid \mathrm{model})$

K_{N} = \frac{f (d_{N} ∣ {m O d e l}_{1})}{f (d_{N} ∣ {m O d e l}_{2})}

$K_N = \frac{f(\mathbf{d}_N \mid \mathrm{model}_1)}{f(\mathbf{d}_N \mid \mathrm{model}_2)}$

P r ({m O d e l}_{j} ∣ d_{N}) = \frac{f (d_{N} ∣ {m O d e l}_{j}) P r ({m O d e l}_{j})}{\sum_{l = 1}^{L} f (d_{N} ∣ {m O d e l}_{l}) P r ({m O d e l}_{l})}

$Pr(\mathrm{model}_j \mid \mathbf{d}_N) = \frac{f(\mathbf{d}_N \mid \mathrm{model}_j)Pr(\mathrm{model}_j)}{\sum_{l=1}^L f(\mathbf{d}_N \mid \mathrm{model}_l)Pr(\mathrm{model}_l)}$

f (d_{N} ∣ λ_{j}) = \int_{Θ} f (d_{N} ∣ θ, λ_{j}) π_{0} (θ ∣ λ_{j}) d θ

$f(\mathbf{d}_N \mid \lambda_j) = \int_{\Theta} f(\mathbf{d}_N \mid \theta, \lambda_j)\pi_0(\theta\mid \lambda_j)d\theta$

f (d_{N} ∣ λ_{j}) = \prod_{n = 0}^{N - 1} f (d_{n + 1} ∣ d_{n}, λ_{j})

$f(\mathbf{d}_N \mid \lambda_j) = \prod_{n=0}^{N-1} f(d_{n+1} \mid \mathbf{d}_n , \lambda_j)$ Von oben wissen wir das

f (d_{N + 1} ∣ d_{N}, λ_{j})

$f(d_{N+1} \mid \mathbf{d}_N , \lambda_j)$ konvergiert zu

f (d_{N + 1} ∣ d_{N}, θ^{*})

$f(d_{N+1} \mid \mathbf{d}_N , \theta^*)$ , but it is generally not true that $f(\mathbf{d}_N \mid \lambda_1)$ converges to $f(\mathbf{d}_N \mid \theta^*)$ , nor does it converge to $f(\mathbf{d}_N \mid \lambda_2)$ . This should be apparent given the product notation above. While latter terms in the product will be increasingly similar, the initial terms will be different, because of this, the Bayes factor

\frac{f (d_{N} ∣ λ_{1})}{f (d_{N} ∣ λ_{2})} ⧸ \overset{p}{\to} 1

$\frac{f(\mathbf{d}_N \mid \lambda_1)}{ f(\mathbf{d}_N \mid \lambda_2)} \not\stackrel{p}{\rightarrow} 1$ This is an issue if we wished to calculate a Bayes factor for an alternative model with different likelihood and prior. For example consider the marginal likelihood

h (d_{N} ∣ M) = \int_{Θ} h (d_{N} ∣ θ, M) π_{0} (θ ∣ M) d θ

$h(\mathbf{d}_N\mid M) = \int_{\Theta} h(\mathbf{d}_N\mid \theta, M)\pi_0(\theta\mid M) d\theta$ ; then

\frac{f (d_{N} ∣ λ_{1})}{h (d_{N} ∣ M)} \neq \frac{f (d_{N} ∣ λ_{2})}{h (d_{N} ∣ M)}

$\frac{f(\mathbf{d}_N \mid \lambda_1)}{ h(\mathbf{d}_N\mid M)} \neq \frac{f(\mathbf{d}_N \mid \lambda_2)}{ h(\mathbf{d}_N\mid M)}$ asymptotically or otherwise. The same can be shown for posterior probabilities. In this setting the choice of the prior significantly effects the results of inference regardless of sample size.

Zachary Blumenfeld
quelle

5

Another issue to keep in mind is you can have a lot of data, but still have very little information about certain parameters in your model. In such cases, even a mildly informative prior can be extremely helpful when performing inference.

As a silly example, suppose you were comparing means of two groups and you had 1,000,000 samples of group 1 and 10 samples of group 2. Then clearly having an informative prior about group 2 can improve inference, even though you've collected over a million samples.

And while that example may be trivial, it starts to lead some very important implications. If we want to understand some complex phenomena, the smart thing to do is collect a lot of information regarding the parts we don't understand and less information about the parts we do understand. If we collect a lot of data in such a manner, throwing out the prior because we have a lot of data is a really bad choice; we've just set back our analysis because we didn't waste time collecting data on things we already know!

Cliff AB
quelle

Werden Bayesianische Priors bei großen Stichproben irrelevant?

Antworten:

Prädiktive Dichte

Modellauswahl und Hypothesentest