Was sind die Nachteile der Bayes'schen Analyse?

44

Was sind einige praktische Einwände gegen die Verwendung von Bayes'schen statistischen Methoden in irgendeinem Zusammenhang? Nein, ich meine nicht das übliche Karpfen über die Wahl des Prior. Ich freue mich, wenn dies nicht beantwortet wird.

Rosser
quelle
5
Die Frage ist in Ordnung gerahmt, aber die Kommentare entsprechen genau der Argumentationslinie und drohen, auf die falsche Seite dieser Linie zu gelangen. Seien Sie vorsichtig ... dies ist nicht der Ort für eine solche Debatte. Erstellen Sie einen Chatroom, wenn Sie das möchten.
whuber

Antworten:

40

Ich werde dir eine Antwort geben. Vier Nachteile eigentlich. Beachten Sie, dass dies eigentlich keine Einwände sind, die den Weg zur frequentistischen Analyse einschlagen sollten, aber es gibt Nachteile, ein Bayes'sches Framework zu wählen:

  1. Wahl des Prior. Dies ist aus einem bestimmten Grund das übliche Karpfen, obwohl es in meinem Fall nicht das übliche "Priors sind subjektiv!" Ist. Aber es ist in vielen Fällen eine Menge Arbeit, einen Prior zu finden , der gut begründet ist und tatsächlich Ihren besten Versuch darstellt, einen Prior zusammenzufassen. Ein ganzes Ziel meiner Dissertation kann zum Beispiel als "Schätzung der Prioritäten" zusammengefasst werden.
  2. Es ist rechenintensiv. Besonders für Modelle mit vielen Variablen. Bei einem großen Datensatz, für den viele Variablen geschätzt werden, kann dies sehr wohl sehr rechenintensiv sein, insbesondere unter bestimmten Umständen, in denen die Daten nicht ohne weiteres auf einen Cluster oder dergleichen geworfen werden können. Einige der Möglichkeiten, dies zu beheben, wie beispielsweise erweiterte Daten anstelle von MCMC, sind zumindest für mich theoretisch eine Herausforderung.
  3. Posteriore Verteilungen sind etwas schwieriger in eine Metaanalyse einzubeziehen, es sei denn, es wurde eine häufigere, parametrische Beschreibung der Verteilung gegeben.
  4. Abhängig davon, für welche Zeitschrift die Analyse bestimmt ist, gibt die Verwendung von Bayes im Allgemeinen oder die Auswahl der Prioritäten Ihrem Artikel etwas mehr Punkte, an denen ein Rezensent sich damit befassen kann. Einige davon sind berechtigte Kritiker-Einwände, andere beruhen jedoch auf der Natur von Bayes und darauf, wie vertraut die Leute in einigen Bereichen damit sind.

Nichts von alledem sollte dich aufhalten. Tatsächlich keines dieser Dinge haben mich gestoppt, und hoffentlich tun wird Bayes - Analyse zumindest Nummer 4 Adresse helfen.

Fomite
quelle
2
# 1, dies sollte idealerweise die erste Stufe der Analyse sein. In der Kunst eine beleuchtete Rezension. In den Wissenschaften ein quantitativer Überblick. Bayesianer sollten sich nicht dafür entschuldigen. Wenn die Frequenzen sich den Daten nähern, als wären sie Adam und Eva - in Ordnung. Das erste Kapitel meiner Promotion ist eine Meta-Analyse (wenn auch häufig) .Whoopdeedoo. So sollte es sein. # 2 Moores Gesetz, ich habe eine kurze und XKCD-basierte Diskussion mit der lokalen High Performance Computing-Gruppe gefunden, die viel helfen kann. # 3 Meta-Analyse ist nicht gut genug. Ich würde mich für eine obligatorische fortlaufende Mega-Analyse aussprechen, also Ihre Daten bei der Veröffentlichung angeben.
Rosser
7
@rosser Ein paar Gedanken. # 1. Es sollte in der Tat eine beleuchtete Rezension geben, und ja, das sollte Schritt eins sein. Für eine ordnungsgemäße Bayes'sche Analyse, die die ordnungsgemäße Konfundierung kontrolliert, ist jedoch eine vollständige, quantitative Überprüfung aller Variablen erforderlich , die in das Modell aufgenommen werden sollen. Das ist keine kleine Aufgabe. # 2. Je nach Moores Gesetz ist das eine schlechte Idee. Erstens wurden in jüngster Zeit vor allem bei Multi-Core- / GPU-Systemen Zuwächse erzielt. Das erfordert Software und Probleme, die durch Parallelverarbeitung entstehen. Ein einzelnes GLM-Modell, das mit MCMC erstellt wurde, ist dies möglicherweise nicht. Fortsetzung ...
Fomite
6
@rosser und es mag Zeiten geben, bei denen HPC nicht unbedingt die Antwort ist. Ich arbeite zum Beispiel in Bereichen, in denen Datennutzungsvereinbarungen und dergleichen häufig verhindern, dass Daten auf anderen als extrem sicheren Systemen gespeichert werden. Der lokale Cluster ... ist das nicht. Und am Ende ist Moores Gesetz nur so gut wie Ihr Hardware-Budget groß ist. Was # 3 und Meta-Analyse angeht, bin ich eher anderer Meinung, aber darüber hinaus bleibt es ein Problem, bis ein vollständig offenes Datensystem zur Norm wird.
Fomite
OK, ich habe # 3 übertrieben. Aber wie viel Unterschied macht Ihr Vorgänger bei JEDEM PREDICTOR für das Ergebnis aus? schlau? Zeigt eine Sensitivitätsanalyse enorme Unterschiede?
Rosser
1
@ Rosser Es hängt wahrscheinlich von der Art Ihres Prädiktors und seiner Beziehung zur Exposition und dem Ergebnis ab. Um jedoch eine Sensitivitätsanalyse durchführen zu können , muss für alle diese Variablen eine Prioritätsangabe vorliegen. Vielleicht füge ich es als Randbemerkung meiner Dissertation hinzu. Ich finde es auch etwas problematisch, die Stärke von Bayes zu kooptieren, aber uninformative Prioritäten für Variablen anzunehmen, bei denen "ich nicht die Mühe habe, es herauszufinden".
Fomite
16

Ich bin ein Bayesianer, aber im Allgemeinen ein regelmäßiger Praktiker. Der Grund dafür ist in der Regel, dass die ordnungsgemäße Durchführung der vollständigen Bayes'schen Analyse (anstelle von zB MAP-Lösungen) für die Arten von Problemen, an denen ich interessiert bin, schwierig und rechenintensiv ist. Oft ist eine vollständige Bayes'sche Analyse erforderlich, um den Nutzen dieses Ansatzes gegenüber häufig vorkommenden Äquivalenten wirklich zu erkennen.

Für mich ist der Kompromiss im Grunde genommen eine Wahl zwischen Bayes'schen Methoden, die konzeptionell elegant und leicht zu verstehen sind, aber in der Praxis schwer zu implementieren sind, und frequentistischen Methoden, die konzeptionell umständlich und subtil sind (versuchen Sie zu erklären, wie ein Hypothesentest genau zu interpretieren ist, oder warum es keine 95% ige Wahrscheinlichkeit gibt, dass der wahre Wert in einem 95% igen Konfidenzintervall liegt), die sich jedoch gut für leicht zu implementierende "Kochbuch" -Lösungen eignen.

Pferde für Kurse.

Dikran Beuteltier
quelle
11

Aus rein praktischer Sicht bin ich kein Fan von Methoden, die viel Rechenaufwand erfordern (ich denke an Gibbs-Sampler und MCMC, die häufig im Bayes-Framework verwendet werden, aber dies gilt auch für z. B. Bootstrap-Techniken in der Frequentist-Analyse). Der Grund dafür ist, dass jede Art von Debugging (Testen der Implementierung, Betrachten der Robustheit in Bezug auf Annahmen usw. ) selbst eine Reihe von Monte-Carlo-Simulationen erfordert und Sie sich schnell in einem rechenintensiven Stadium befinden. Ich bevorzuge, dass die zugrunde liegenden Analysetechniken schnell und deterministisch sind, auch wenn sie nur ungefähr sind.

Dies ist natürlich ein rein praktischer Einwand: Bei unendlichen Rechenressourcen würde dieser Einwand verschwinden. Und es gilt nur für eine Teilmenge der Bayes'schen Methoden. Auch dies ist in Anbetracht meines Workflows eher eine Präferenz.

shabbychef
quelle
1
Bisher höre ich 1. Moore'e Law, 2. harte Arbeit +/- Geduld und 3. Ignoranz. Ich muss sagen, keines davon überzeugt. Bayes scheint solch ein übergreifendes Paradigma zu sein. Zum Beispiel ... warum wurden GWAS-Studien nicht a-la-Bayes analysiert? Könnten sie verhindert haben, 99,999% der Daten wegzuwerfen?
Rosser
1
Umgekehrt: MCMC könnte einem beibringen, schneller Code zu schreiben und aus dem Warten auf den Abschluss der Simulationen zu lernen. Dies ist meine Erfahrung mit der Modellierung: Wenn die Ausführung lange dauert, kann ich davon profitieren, dass ich lerne, wie man den Code schneller macht.
Iterator
9

Manchmal gibt es eine einfache und natürliche "klassische" Lösung für ein Problem. In diesem Fall wäre eine ausgefallene Bayes'sche Methode (insbesondere mit MCMC) übertrieben.

Ferner kann es bei Problemen mit variablen Auswahltypen einfacher und klarer sein, so etwas wie eine bestrafte Wahrscheinlichkeit in Betracht zu ziehen. Es kann ein Prior für Modelle geben, das einen äquivalenten Bayes'schen Ansatz bietet, aber wie der Prior der endgültigen Leistung entspricht, kann weniger klar sein als die Beziehung zwischen der Strafe und der Leistung.

Schließlich erfordern MCMC-Methoden häufig einen Experten, um die Konvergenz / Vermischung zu bewerten und die Ergebnisse zu verstehen.

Karl
quelle
9

Ich bin relativ neu in der Bayes'schen Methode, aber eine Sache, die mich ärgert, ist, dass ich zwar die Gründe für die Prioritäten verstehe (dh die Wissenschaft ist ein kumulatives Unterfangen, für die meisten Fragen gibt es also eine Menge vorheriger Erfahrungen / Überlegungen, die Sie informieren sollten Interpretation der Daten), ich mag es nicht, dass der Bayes'sche Ansatz Sie dazu zwingt, die Subjektivität an den Anfang der Analyse zu bringen und das Endresultat davon abhängig zu machen. Ich glaube, dies ist aus zwei Gründen problematisch: 1) Einige weniger versierte Leser werden nicht einmal auf die Prioritäten achten und die Bayes'schen Ergebnisse als nicht kontingent interpretieren. 2) Wenn die Rohdaten nicht verfügbar sind, ist es für die Leser schwierig, die Ergebnisse in ihren eigenen subjektiven Prioritäten neu zu formulieren. Deshalb bevorzuge ich Wahrscheinlichkeitsverhältnisse,

(Kluge Kritiker werden bemerken, dass sogar das Wahrscheinlichkeitsverhältnis "abhängig" ist, da es von der Parametrisierung der zu vergleichenden Modelle abhängt. Dies ist jedoch ein Merkmal, das von allen Methoden, Frequentist, Bayesian und Likelihoodist, geteilt wird.)

Mike Lawrence
quelle
9
Das umgekehrte Problem mit der frequentistischen Statistik ist, dass die Subjektivität vorhanden ist, aber überhaupt nicht erwähnt wird. Das (praktische) Problem mit den Wahrscheinlichkeitsverhältnissen besteht darin, dass sie auf der Optimierung der Wahrscheinlichkeit beruhen und daher die Tatsache ignorieren, dass es möglicherweise andere Lösungen gibt, bei denen die Wahrscheinlichkeit nur geringfügig geringer ist. Hier ist der Bayes-Faktor nützlich. Es sind aber immer "Pferde für Kurse".
Dikran Beuteltier
6

Die Entscheidungstheorie ist die zugrunde liegende Theorie, auf der die Statistik beruht. Das Problem ist, ein (gewissermaßen) gutes Verfahren zu finden, um Entscheidungen aus Daten zu treffen. Es gibt jedoch selten eine eindeutige Wahl des Verfahrens im Sinne einer Minimierung des erwarteten Verlusts, so dass andere Kriterien zur Auswahl herangezogen werden müssen. Die Auswahl der Prozeduren, die Bayes in Bezug auf einige Prioritäten verwendet, ist eines dieser Kriterien, aber es ist möglicherweise nicht immer das, was Sie möchten. Minimax kann in manchen Fällen wichtiger sein oder Unparteilichkeit.

Wer darauf besteht, dass die Frequentisten falsch oder die Bayesianer oder falsch sind, offenbart meistens ihre Unkenntnis der Statistik.

user873
quelle
5

Seit einiger Zeit wollte ich mich mehr mit Bayes'schen Ansätzen zum Modellieren auseinandersetzen, um mein flüchtiges Verständnis zu überwinden (ich habe Gibbs-Sampler in Abschlussarbeiten codiert, aber nie etwas Reales getan). Auf dem Weg dorthin, obwohl ich dachte, dass einige von Brian Dennis 'Papieren Anreize hervorriefen und ich wünschte, ich könnte einen bayesianischen Freund finden (diejenigen, die nicht im Schrank waren), um die Papiere zu lesen und ihre Kontrapunkte zu hören. Also, hier sind die Papiere, auf die ich mich beziehe, aber das Zitat, an das ich mich immer erinnere, ist

Bayesianer zu sein bedeutet, niemals sagen zu müssen, dass man sich irrt.

http://faculty.washington.edu/skalski/classes/QERM597/papers/Dennis_1996.pdf http://classes.warnercnr.colostate.edu/nr575/files/2011/01/Lele-and-Dennis-2009.pdf

Josh Hemann
quelle
1
Der erste Artikel (ich habe den zweiten nicht gelesen) scheint mehr darüber zu handeln, wie Bayes gegen die Theorie praktiziert wird. In der Praxis werden Modelle nicht so streng geprüft, wie sie sollten, aber in der Theorie verfügt die Bayes'sche Statistik über hervorragende Möglichkeiten zur Modellprüfung, die von Jaynes als "Evidence" bezeichnet werden und im Nenner P (D | Modell) der Bayes'schen Regel enthalten sind. Sie können damit die Angemessenheit eines Modells vergleichen, was Sie nur empirisch in frequentistischen Statistiken tun können. Das Problem ist natürlich, dass die Beweise schwer zu berechnen sind, so dass die meisten Leute es ignorieren und denken, dass der hintere Teil der alles entscheidende Faktor ist (Fortsetzung)
cespinoza
2
pt. 2 Wenn Sie versuchen, "Skilling Nested Sampling" zu googeln, finden Sie einen Artikel über eine MCMC-Methode zur Berechnung der Beweise. (Es gibt auch andere, nicht evidenzbasierte Modellprüfungsmethoden: Gelman prüft seine Modelle anhand einer Stichprobe aus der posterioren Vorhersage und vergleicht diese (visuell oder anderweitig) mit den tatsächlichen Daten.) Einige Leute schlagen sogar vor, dass Modelle durch Betrachten gemittelt werden sollten der Raum der Modelle selbst, über den ausgegrenzt werden kann. Eine andere Sache, die wir am Horizont sehen können, sind nichtparametrische Felder, die das Problem lösen, indem sie eine viel breitere Modellpalette als herkömmliche parametrische Modelle zulassen.
Cespinoza
5
Außerdem schlage ich vor, dass Sie sich videolectures.net/mlss09uk_jordan_bfway von Michael I. Jordan ansehen , einem Profi in Berkeley, der in seinen Ansichten zu den vermeintlichen Bayes vs Freq ziemlich ausgewogen ist. "Krieg". Ich kann die zweite Hälfte der ersten Arbeit nicht wirklich kommentieren, da ich keine der ökologischen Referenzen kenne. Den zweiten werde ich später lesen.
Cespinoza
1
@cespinoza: Ich habe das auf dem Weg zur Arbeit überlegt. Der Aufsatz sagt, ein Bayesianer würde niemals Residuen untersuchen (dh die Modellausgabe mit tatsächlichen Daten vergleichen), und vielleicht könnte ein strenger Bayesianer dies prinzipiell vermeiden, aber Praktiker wie Gelman vergleichen die Modellausgabe (prädiktive Posterior) mit tatsächlichen Daten. Ich weiß nicht genug, um weiter zu gehen, aber mein Eindruck von den Zeitungen ist, dass sie "im Prinzip" Strohmänner aufstellen, um anzugreifen.
Wayne
1
Fügen Sie hinzu, dass ein Bayesianer, der keine Residuen prüft, ein schlechter Statistiker ist. Normalerweise wird eine Bayes'sche Methode mit einem "groben und fertigen" Modell und einer früheren Methode verwendet. Das Überprüfen von Residuen ist eine Möglichkeit, um festzustellen, ob Sie genug über den Stand und das Modell wissen. Es geht Hand in Hand mit der Überprüfung, welche theoretischen Merkmale Ihr Modell und Ihre Vorgänger haben
Wahrscheinlichkeitslogik
5

Was sind die offenen Probleme in der Bayes'schen Statistik aus dem vierteljährlichen ISBA-Newsletter? Nennen Sie fünf Probleme mit den Bayes'schen Statistiken verschiedener führender Unternehmen auf diesem Gebiet.

cespinoza
quelle
3
Warum langweilig ?! Dies ist eine der häufigsten Anwendungen statistischer Methoden.
Xi'an