"Voll Bayesian" vs "Bayesian"

20

Ich habe etwas über Bayes'sche Statistiken gelernt und oft in Artikeln gelesen

"Wir verfolgen einen bayesianischen Ansatz"

oder etwas ähnliches. Ich bemerkte auch seltener:

"Wir verfolgen einen vollständig bayesianischen Ansatz"

(meine Betonung). Gibt es einen Unterschied zwischen diesen Ansätzen in praktischer oder theoretischer Hinsicht? FWIW, ich benutze das Paket MCMCglmmin R, falls das relevant ist.

bayesian Joe King
quelle
6
Ich denke nicht, dass "vollständig Bayesianisch" eine strenge Bedeutung hat.
Stéphane Laurent
4
@Stephane Ich bin mir ziemlich sicher, dass vollständig Bayesianisch dasselbe ist wie Bayesianisch, aber das Adjektiv wird vollständig verwendet, um zu betonen, dass es sich nicht um empirische Bayes handelt.
Michael R. Chernick
1
@Michael das macht Sinn, aber ich denke immer noch, die Bedeutung ist nicht universell und es scheint durch die verschiedenen Antworten auf die Frage bestätigt zu werden. Es würde mich nicht wundern, wenn manche Leute "völlig bayesianisch" sagen, um zu sagen, dass sie einen subjektiven Prior und keinen nicht-informativen verwenden. Eine andere mögliche Situation ist, wenn Menschen die "Bayesian-frequentist Predictive Distribution" verwenden und dann zu einem rein Bayesianischen Ansatz übergehen.
Stéphane Laurent
@Stephane Ich akzeptiere Ihr Urteil. Ich denke, Sie arbeiten mehr in der Bayes'schen Statistik als ich und haben deshalb wahrscheinlich gehört, dass die Leute den Begriff auf verschiedene Arten verwenden. Zumindest ist meine Antwort verständlich und teilweise richtig.
Michael R. Chernick
@MichaelChernick Ja, Ihre Antwort ist ein Beispiel für einen pseudo-bayesianischen Ansatz im Vergleich zu einem echten bayesianischen Ansatz, aber es gibt andere Situationen dieser Art
Stéphane Laurent

Antworten:

19

Die Terminologie "voll Bayesianischer Ansatz" ist nichts anderes als ein Hinweis darauf, dass man je nach Kontext von einem "teilweise" Bayes'schen Ansatz zu einem "echten" Bayes'schen Ansatz übergeht. Oder um einen "pseudo-bayesianischen" Ansatz von einem "streng" bayesianischen Ansatz zu unterscheiden.

Ein Autor schreibt zum Beispiel: "Im Gegensatz zu den meisten anderen interessierten Autoren, die typischerweise einen empirischen Bayes-Ansatz für RVM verwendeten, verwenden wir einen vollständig bayesianischen Ansatz", da der empirische Bayes-Ansatz ein "pseudo-bayesianischer" Ansatz ist. Es gibt andere pseudo-bayesianische Ansätze, wie die Bayesianisch-frequentistische Vorhersageverteilung (eine Verteilung, deren Quantile mit den Grenzen der Intervalle für die häufige Vorhersage übereinstimmen).

Auf dieser Seite verschiedene R-Pakete für die Bayes'sche Inferenz vorgestellt. Das MCMCglmm wird als "vollständig bayesianischer Ansatz" dargestellt, da der Benutzer im Gegensatz zu den anderen Paketen die vorherige Verteilung wählen muss.

Eine andere mögliche Bedeutung von "vollständig Bayesianisch" ist, wenn man eine Bayesianische Folgerung durchführt, die aus dem Bayesianischen Entscheidungstheoretischen Rahmen abgeleitet ist, dh aus einer Verlustfunktion, weil die Bayesianische Entscheidungstheorie ein solides Grundgerüst für die Bayesianische Folgerung ist.

Stéphane Laurent
quelle
Danke dafür. Vielen Dank, das Paket MCMCglmm"Fully Bayesian" hat also nichts mit der Verwendung von MCMC zu tun, um die Schätzungen abzuleiten. Wäre es immer noch vollständig Bayesianisch, wenn ich den Prior angeben müsste, anhand dessen der Posterior analytisch gefunden werden könnte? Es tut mir leid, wenn meine Frage keinen Sinn ergibt - ich bin noch ein Anfänger, aber ich versuche zu lernen!
Joe King
1
MCMC ist nur eine Technik, die nützlich ist, um die posterioren Verteilungen in der Bayes'schen Statistik zu simulieren. Aber es hat nichts mit dem Bayes'schen Ansatz selbst zu tun.
Stéphane Laurent
13

Ich denke, die Terminologie wird verwendet, um zwischen dem Bayes-Ansatz und dem empirischen Bayes-Ansatz zu unterscheiden. Full Bayes verwendet einen festgelegten Prioritätswert, während empirische Bayes eine Schätzung des Prioritätswerts anhand von Daten ermöglichen.

Michael R. Chernick
quelle
Vielen Dank ! Ich habe auch "empirische Bayes" gesehen, die hier und da erwähnt wurden, aber sie tauchten nie in Dingen auf, die ich gelesen habe, bis zu dem Punkt, an dem ich ernsthaft darüber nachdenken musste, was das bedeutet. Ich habe mir gerade die Wikipedia-Seite angesehen, die besagt, dass sie auch als "maximale Grenzwahrscheinlichkeit" und "Annäherung an eine vollständig bayesianische Behandlung eines hierarchischen Bayes-Modells" bekannt ist. Hmmm, um ehrlich zu sein, verstehe ich nicht sehr viel von dem, was auf dieser Seite steht :(
Joe King
@ JoeKing Es gibt viele interessante und wichtige Verwendungen empirischer Bayes-Methoden. Die Idee geht auf Herbert Robbins in den 1960er Jahren zurück. In den 1970er Jahren zeigten Efron und Morris, dass der James-Stein-Schätzer für einen multivariaten Normalmittelwert und ähnliche Schrumpfungsschätzer empirische Bayes sind. In seinem neuen Buch über Large Scale Inference zeigt Brad Efron, wie empirische Bayes-Methoden für Probleme eingesetzt werden können, die manchmal als small n large p bezeichnet werden, da viele Hypothesen zu Parametern gelten, die mit relativ kleinen Stichprobengrößen getestet werden (dh p kann viel größer sein als n) ). Hierfür gibt es Microarrays.
Michael R. Chernick
1
Danke nochmal. Ich muss zugeben, dass ich nicht alles verstehe, was Sie gerade geschrieben haben, aber ich werde es als Ausgangspunkt für weitere Studien in dieser Angelegenheit verwenden.
Joe King
9

"Bayesian" bedeutet wirklich "ungefähre Bayesian".

"Voll Bayesian" bedeutet auch "ungefähre Bayesian", aber mit weniger Annäherung.

Bearbeiten : Klarstellung.

Der vollständig bayesianische Ansatz wäre, für ein gegebenes Modell und Daten die posteriore Wahrscheinlichkeit unter Verwendung der Bayes-Regel zu berechnen

p(θ∣Daten)∝p(Daten∣θ)p(θ).
Abgesehen von sehr einfachen Modellen weist dies einen zu großen Rechenaufwand auf, und es sind Annäherungen erforderlich. Genauere Näherungen, z. B. die Verwendung von MCMC mit Gibbs-Abtastung für alle Parameterθ, werden manchmal als "Voll Bayesian" bezeichnet. Weniger genaue Näherungen, wie die Verwendung der Punktschätzung für einige Parameter, können nicht als "vollständig bayesianisch" bezeichnet werden. Einige ungefähre Inferenzmethoden liegen dazwischen, wie Variation Bayes oder Expectation Propagation, und werden manchmal (selten) auch als "Fully Bayesian" bezeichnet.
Arek Paterek
quelle
Vielen Dank. Ich habe hier gelesen , dass MCMCglmmdas von mir verwendete Paket Fully Bayesian ist. Liegt das daran, dass MCMC zusammen mit einem Prior für Parameter verwendet wird?
Joe King
@Arek Ich bin wirklich nicht überzeugt. Wenn ich also ein Standardkonjugat verwende, bevor ich "mehr als vollständig" bayesianisch bin? Und warum behaupten Sie, eine Punktschätzung sei weniger "genau" als posteriore Simulationen?
Stéphane Laurent
1
@ StéphaneLaurent Ich behaupte nicht, dass die Punktschätzung immer ungenauer ist. Wo sind die gestrigen Kommentare zu meiner Antwort?
Arek Paterek
1
@ArekPaterek Ihre kurze Antwort sah aus wie ein Witz, und daher gelten die Kommentare, die nicht für Ihre überarbeitete Antwort gelten, nicht für die überarbeitete Antwort. Ich vermute also, dass ein Moderator sie wahrscheinlich entfernt hat. Es ist rätselhaft, noch immer die Bayes'sche Näherung zu nennen.
Michael R. Chernick
1
Vielleicht war mein erster nicht gelöschter Kommentar nicht klar. Wenn Areks Antwort richtig war, wie sollten wir dann die Situation nennen, in der es möglich ist, die exakte hintere Verteilung zu haben (wie eine einfache konjugierte vorherige Situation)? Ein "mehr als vollständiger" Bayes-Ansatz?
Stéphane Laurent
8

Ich würde "vollständig Bayesianisch" verwenden, um zu bedeuten, dass alle Nuancenparameter aus der Analyse entfernt und nicht optimiert wurden (z. B. MAP-Schätzungen). Zum Beispiel wäre ein Gaußsches Prozessmodell mit Hyperparametern, die so eingestellt sind, dass die marginale Wahrscheinlichkeit maximiert wird, Bayesianisch, aber nur teilweise. Wenn die Hyperparameter, die die Kovarianzfunktion definieren, unter Verwendung eines Hyperprior integriert würden, wäre dies vollständig Bayesianisch .

Dikran Beuteltier
quelle
4
Dies scheint die etwas allgemeinere Antwort zu sein. Je mehr Mengen eher marginalisiert als optimiert werden, desto vollständiger ist die Bayes'sche Lösung. Empirische Bayes ist ein Sonderfall.
Conjugateprior
Ja, es ist nur eine geringfügige Erweiterung der Antwort von Michaels; Grundsätzlich ist die Optimierung un-bayesianisch.
Dikran Beuteltier
3

Als praktisches Beispiel:

Ich mache eine Bayesianische Modellierung mit Splines. Ein häufiges Problem bei Splines ist die Knotenauswahl. Eine beliebte Möglichkeit ist die Verwendung eines Reversible Jump Markov Chain Monte Carlo-Schemas (RJMCMC), bei dem vorgeschlagen wird, während jeder Iteration einen Knoten hinzuzufügen, zu löschen oder zu verschieben. Die Koeffizienten für die Splines sind die Schätzungen für das kleinste Quadrat.

Freie Knoten-Keile

Meiner Meinung nach ist dies nur "teilweise Bayesianisch", da für einen "vollständig Bayesianischen" Ansatz diesen Koeffizienten (und den während jeder Iteration vorgeschlagenen neuen Koeffizienten) Prioritäten zugewiesen werden müssten. Dann funktionieren die Schätzungen der kleinsten Quadrate für das RJMCMC jedoch nicht Schema, und die Dinge werden viel schwieriger.

Tal
quelle
(+1) Ich verstehe Ihre Situation nicht, aber es scheint eine Situation eines pseudo-bayesianischen Ansatzes zu sein
Stéphane Laurent
1

Ich würde eine Charakterisierung hinzufügen, die bisher nicht erwähnt wurde. Ein vollständig bayesianischer Ansatz propagiert die Unsicherheit in allen unbekannten Größen durch den Bayes-Satz "vollständig". Andererseits verbreiten Pseudo-Bayes-Ansätze wie empirische Bayes nicht alle Unsicherheiten. Bei der Schätzung posteriorer Vorhersagegrößen würde beispielsweise ein vollständig bayesianischer Ansatz die posteriore Dichte der unbekannten Modellparameter verwenden, um die Vorhersageverteilung für den Zielparameter zu erhalten. Ein EB-Ansatz würde die Unsicherheit nicht in allen Unbekannten berücksichtigen - zum Beispiel können einige der Hyperparameter auf bestimmte Werte gesetzt werden, wodurch die Gesamtunsicherheit unterschätzt wird.

user67724
quelle