Warum ist die Grenzwahrscheinlichkeit schwer / schwer abzuschätzen?

Ich habe hier eine allgemein grundlegende Frage zu stellen, die mich seit einiger Zeit beunruhigt. Während des größten Teils meiner Lektüre der Bayes'schen Statistik wurde sachlich festgestellt, dass die Grenzwahrscheinlichkeit oft unlösbar oder schwer abzuschätzen ist. Warum?

Zu den häufig genannten Gründen gehören Aussagen über die hochdimensionale Natur des zu schätzenden Integrals / der zu schätzenden Summe oder darüber, dass der Bereich möglicher Modelle unendlich ist.

Ich möchte, dass diese Community mich auf etwas hinweist, das sich mit dem Warum befasst und dieses Problem in einfacher Sprache erklärt.

Links zu Ressourcen wären ebenfalls willkommen. Ich habe die Begriffe auf der Suche nach Ressourcen gegoogelt, die dies klar erklären, aber die meisten von ihnen geben das Problem nur ohne Erklärung an. Ich habe auch die Bücher Mustererkennung im maschinellen Lernen und das Kevin Murphy Machine Learning Book. Ich bin mit den Erklärungen in diesen Texten nicht zufrieden und suche etwas Klares und Einfaches.

Hier ist eine Antwort am Beispiel. Angenommen, Sie haben das folgende hierarchische Modell für die Gruppen und Beobachtungen innerhalb von a Gruppe und bekannte Werte und . Mit die Die Dimension des Integrals ist

$$Y_{ig} \stackrel{ind}{\sim} N(\theta_g,1) \quad \theta_g \stackrel{ind}{\sim} N(\mu,\tau^2) \quad \mu|\tau^2 \sim N(m,\tau^2/k) \quad \tau^2 \sim IG(a,b)$$ $g=1,\ldots,G$$i=1,\ldots,n_g$$m,k,a,$$b$ $$y = (y_{1,1},\ldots,y_{n_1,1},y_{1,2},\ldots,y_{n_2,2},\ldots,y_{1,G},\ldots,y_{n_G,G}),$$ $$p(y) = \int \cdots \int \prod_{g=1}^G \left[\prod_{i=1}^{n_g} N(y_{ig};\theta_g,1) \right] N(\theta_g; \mu,\tau^2) d\theta_1 \cdots d\theta_G d\mu d\tau^2.$$ $G+2$ und wenn groß ist, dann ist dies ein hochdimensionales Integral. Die meisten numerischen Integrationstechniken erfordern eine extreme Anzahl von Abtastwerten oder Iterationen, um eine vernünftige Annäherung an dieses Integral zu erhalten.$G$

Dieses Integral hat zufällig eine Grenzwahrscheinlichkeit in geschlossener Form, sodass Sie bewerten können, wie gut eine numerische Integrationstechnik die Grenzwahrscheinlichkeit abschätzen kann. Um zu verstehen, warum die Berechnung der Grenzwahrscheinlichkeit schwierig ist, können Sie einfach beginnen, z. B. wenn eine einzelne Beobachtung, eine einzelne Gruppe, und bekannt sind usw. Sie können das Problem langsam immer schwieriger machen und Sehen Sie, wie sich die numerischen Integrationstechniken im Verhältnis zur Wahrheit verhalten. Sie werden feststellen, dass sie immer schlechter werden, dh sie benötigen immer mehr Stichproben oder Iterationen, um die gleiche Genauigkeit zu erzielen, wenn die Dimension des Problems, dh , zunimmt. Schließlich sei$\mu$$\sigma^2$$G$$Y_{ig} \stackrel{ind}{\sim} Po(e^{\theta_g})$und jetzt haben Sie eine marginale Wahrscheinlichkeit ohne geschlossene Form. Basierend auf Ihrer Erfahrung, als Sie die Wahrheit kannten, wie viel werden Sie einer numerischen Schätzung glauben, wenn Sie die Wahrheit nicht kennen? Ich vermute, Sie werden nicht viel Vertrauen in die numerische Schätzung haben.