Hierarchische Bayes'sche Modelle vs. empirische Bayes

12

Würden Sie das HBM vs EB als zwei Alternativen betrachten, bei denen die Hyperparameter "im Spiel" sind, abgetastet / geschätzt / etc. Zu werden? Es besteht eindeutig ein Zusammenhang zwischen diesen beiden.

Würden Sie HBM als "voll Bayesianer" betrachten als EB? Gibt es einen Ort, an dem ich sehen kann, wo die Unterschiede zwischen "vollständig Bayesianisch" und den anderen Alternativen liegen?

Vielen Dank.

bayesian empirical-bayes singelton
quelle
1
Für eine Diskussion darüber, was "vollständig Bayesianisch" und "empirisch Bayes" bedeuten, siehe die Antworten in "vollständig Bayesianisch" vs "Bayesianisch" .
Vielen Dank, Procrastinator. Ich würde immer noch gerne eine Antwort auf die Beziehung zu hierarchischen Bayes'schen Modellen hören, wenn dies möglich ist.
Singelton
1
Sie finden dies im Wikipedia-Eintrag Empirische Bayes-Methode : "Empirische Bayes können als Annäherung an eine vollständig bayesianische Behandlung eines hierarchischen Modells angesehen werden, bei dem die Parameter auf der höchsten Ebene der Hierarchie auf ihre wahrscheinlichsten Werte anstatt auf die wahrscheinlichsten Werte gesetzt werden integriert werden ".

Antworten:

10

Ich würde sagen, dass HBM mit Sicherheit "Bayesianischer" als EB ist, da Marginalisierung ein Bayesianischer Ansatz ist als Optimierung. Im Wesentlichen scheint mir EB die Unsicherheit in den Hyperparametern zu ignorieren, während HBM versucht, sie in die Analyse einzubeziehen. Ich vermute, HMB ist eine gute Idee, wenn nur wenige Daten vorliegen und daher erhebliche Unsicherheiten bei den Hyperparametern bestehen, die berücksichtigt werden müssen. Andererseits wird EB für große Datensätze attraktiver, da es im Allgemeinen weniger rechenintensiv ist und das Datenvolumen häufig dazu führt, dass die Ergebnisse für die Einstellungen der Hyperparameter wesentlich unempfindlicher sind.

Ich habe an Gaußschen Prozessklassifikatoren gearbeitet, und die Optimierung der Hyperparameter zur Maximierung der Grenzwahrscheinlichkeit führt häufig zu einer Überanpassung der ML und damit zu einer signifikanten Verschlechterung der Generalisierungsleistung. Ich vermute in diesen Fällen, dass eine vollständige HBM-Behandlung zuverlässiger, aber auch viel teurer wäre.

Dikran Beuteltier
quelle
6
+1 für EB ignoriert die Unsicherheit in den Hyperparametern . Bayesianische Fundamentalisten halten EB auch für anti-Bayesianisch, da es blasphemisch ist, die Daten zur Schätzung des Prioritäts zu verwenden .
4
Offensichtlich bin ich dann kein Fundie-Bayesianer! HBM scheint mir das Richtige zu sein, vorausgesetzt, es ist tatsächlich rechnerisch machbar. Letztendlich muss man bis zu einem gewissen Grad pragmatisch sein (nachdem man den größten verfügbaren Computer gekauft hat; o).
Dikran Beuteltier