Warum ist die Austauschbarkeit von Zufallsvariablen in hierarchischen Bayes'schen Modellen wesentlich?

Warum ist die Austauschbarkeit von Zufallsvariablen für die hierarchische Bayes'sche Modellierung wesentlich?

Die Austauschbarkeit ist kein wesentliches Merkmal eines hierarchischen Modells (zumindest nicht auf Beobachtungsebene). Es ist im Grunde ein Bayes'sches Analogon von "unabhängig und identisch verteilt" aus der Standardliteratur. Es ist einfach eine Art zu beschreiben, was Sie über die aktuelle Situation wissen. Dies bedeutet nämlich, dass "Mischen" Ihr Problem nicht ändert. Eine Möglichkeit, wie ich darüber nachdenken möchte, besteht darin, den Fall zu betrachten, in dem Ihnen , Ihnen aber der Wert von nicht mitgeteilt wurde . Wenn das Lernen, dass dazu führen würde, dass Sie bestimmte Werte von mehr als andere vermuten , ist die Sequenz nicht austauschbar. Wenn es dir nichts über sagt$x_{j}=5$$j$$x_{j}=5$$j$$j$dann ist die Sequenz austauschbar. Beachten Sie, dass die Austauschbarkeit eher in den Informationen als in der Realität liegt - dies hängt davon ab, was Sie wissen.

Während die Austauschbarkeit in Bezug auf die beobachteten Variablen nicht wesentlich ist, wäre es wahrscheinlich ziemlich schwierig, ein Modell ohne einen Begriff der Austauschbarkeit anzupassen, da Sie ohne Austauschbarkeit grundsätzlich keine Rechtfertigung haben, Beobachtungen zusammenzufassen. Ich vermute also, dass Ihre Schlussfolgerungen viel schwächer sind, wenn Sie nicht irgendwo im Modell austauschbar sind. Betrachten wir zum Beispiel für . Wenn vollständig austauschbar sind, bedeutet dies und . Wenn unter bedingt austauschbar sind, bedeutet dies$x_{i}\sim N(\mu_{i},\sigma_{i})$$i=1,\dots,N$$x_{i}$$\mu_{i}=\mu$$\sigma_{i}=\sigma$$x_{i}$$\mu_{i}$$\sigma_{i}=\sigma$. Wenn bei bedingt austauschbar sind, bedeutet dies . Beachten Sie jedoch, dass in jedem dieser beiden "bedingt austauschbaren" Fälle die Qualität der Inferenz im Vergleich zum ersten verringert ist, da zusätzliche Parameter in das Problem eingeführt werden. Wenn wir keine Austauschbarkeit haben, haben wir im Grunde nicht verwandte Probleme.$x_{i}$$\sigma_{i}$$\mu_{i}=\mu$$N$$N$

Grundsätzlich bedeutet Austauschbarkeit, dass wir die Schlussfolgerung für jedes und die teilweise austauschbar sind$x_{i}\to \text{parameters}\to x_{j}$$i$$j$

"Essential" ist zu vage. Wenn jedoch die Sequenz austauschbar ist, sind die bedingt unabhängig, wenn einige nicht beobachtete Parameter mit einer Wahrscheinlichkeitsverteilung vorliegen . Das heißt, . muss nicht univariat oder sogar endlichdimensional sein und kann weiter als Mischung usw. dargestellt werden.$X=\{X_i\}$$X_i$$\Theta$$\pi$$p(X) = \int p(X_i|\Theta)d\pi(\Theta)$$\Theta$

Austauschbarkeit ist in dem Sinne wesentlich, dass diese bedingten Unabhängigkeitsbeziehungen es uns ermöglichen, Modelle anzupassen, die wir mit ziemlicher Sicherheit nicht anders könnten.

Ist es nicht! Ich bin hier kein Experte, aber ich werde meine zwei Cent geben. Im Allgemeinen, wenn Sie ein hierarchisches Modell haben, sagen wir

$y|\Theta_{1} \sim \text{N}(X\Theta_{1},\sigma^2)$

$\Theta_{1}|\Theta_{2} \sim\text{N}(W\Theta_{2},\sigma^2)$

Wir machen bedingte Unabhängigkeitsannahmen, dh abhängig von , sind die austauschbar. Wenn die zweite Ebene nicht austauschbar ist, können Sie eine andere Ebene hinzufügen, die sie austauschbar macht. Aber selbst für den Fall, dass Sie nicht von Austauschbarkeit ausgehen können, passt das Modell möglicherweise noch gut zu Ihren Daten auf der ersten Ebene.$\Theta_{2}$$\Theta_{1}$

Nicht zuletzt ist die Austauschbarkeit nur dann wichtig, wenn Sie in Bezug auf den Repräsentationssatz von De Finetti denken möchten. Sie könnten einfach denken, dass Priors Regularisierungswerkzeuge sind, die Ihnen helfen, Ihr Modell anzupassen. In diesem Fall ist die Annahme der Austauschbarkeit genauso gut wie die Anpassung Ihres Modells an die Daten. Mit anderen Worten, wenn Sie das Bayes'sche hierarchische Modell als einen Weg betrachten, um eine bessere Anpassung an Ihre Daten zu erreichen, ist die Austauschbarkeit in keiner Weise wesentlich.