Argumentieren die Bayesianer jemals, dass es Fälle gibt, in denen ihr Ansatz den frequentistischen Ansatz verallgemeinert / überschneidet?

12

Argumentieren Bayesianer jemals, dass ihr Ansatz den frequentistischen Ansatz verallgemeinert, weil man nicht-informative Prioritäten verwenden und daher eine typische frequentistische Modellstruktur wiederherstellen kann?

Kann mich jemand an einen Ort verweisen, an dem ich über dieses Argument lesen kann, wenn es tatsächlich verwendet wird?

EDIT: Diese Frage ist vielleicht nicht genau so formuliert, wie ich es ausdrücken wollte. Die Frage lautet: "Gibt es einen Hinweis auf die Diskussion der Fälle, in denen sich der Bayes'sche Ansatz und der frequentistische Ansatz überlappen / überschneiden / durch die Verwendung eines bestimmten Prior etwas gemeinsam haben?" Ein Beispiel wäre die Verwendung des falschen vorherigen , aber ich bin mir ziemlich sicher, dass dies nur die Spitze der Spitze des Eisbergs ist.p(θ)=1

bayesian references frequentist singelton
quelle
2
Ich erinnere mich an dieses Argument in Greenbergs Einführung in die Bayes'sche Ökonometrie, bin mir aber nicht sicher, ob es eine bessere Referenz gibt. Außerdem glaube ich, dass es nicht nur die Wahl des Prior ist, sondern auch das Vertrauen in den Prior.
John
3
Es gibt ein gutes Argument dafür, dass Frequentisten den Bayes-Ansatz verallgemeinern! Dies folgt, weil Frequentisten gerne Priors verwenden, wenn diese gerechtfertigt sind (durch Theorie oder Daten), aber zusätzlich Methoden verwenden, die Bayesianer nicht berühren würden. :-)
whuber
3
Dies sind völlig andere Ansätze, beginnend mit der Art und Weise, wie die Wahrscheinlichkeit interpretiert wird (siehe z . B. Link ). Darüber hinaus gibt es keine eindeutige (noch weniger akzeptierte) Definition von nicht informativem Vorgänger, nur weil es keine eindeutige (oder akzeptierte) Definition von Informationen gibt . Selbst wenn die Schätzer quantitativ gleich sind, unterscheiden sich die Interpretationen eines Frequentist-Schätzers und eines Bayes'schen Schätzers. Wie ich in einem vorherigen Kommentar erwähnt habe "Es ist so, als würde man sagen, dass Orangen Äpfel verallgemeinern."
1
@Procrastinator Ich stimme voll und ganz zu, dass sie sich nicht immer schneiden. Ich bin auf der Suche nach Argumenten in Fällen, in denen dies der Fall ist. Lassen Sie mich die Frage neu formulieren: "Gibt es einen Hinweis auf eine Diskussion, bei der sich Bayes'sche Statistik und frequentistische Statistik auf die eine oder andere Weise überlappen, indem ein Prior verwendet wird?" Ein Beispiel wäre die Verwendung des falschen vorherigen . Aber das ist wirklich die Spitze des Eisbergs, glaube ich. p(θ)=1
singelton
1
@Procrastinator ja, danke! Das ist genau die Art von Diskussion, nach der ich suche (obwohl ich vermute, dass es immer noch die Spitze des Eisbergs ist). Ich muss nur ein Buch finden, das es gründlich macht, und ich konnte kein Buch finden. Ich werde weiter suchen. Danke noch einmal. (Die meisten Bücher konzentrieren sich entweder auf den frequentistischen oder den bayesianischen Ansatz, aber vergleichen Sie die beiden nicht so, wie Sie es getan haben.)
singelton

Antworten:

11

Ich habe zwei Argumente vorgebracht, wonach die Bayes'sche Analyse eine Verallgemeinerung einer frequentistischen Analyse ist. Beide waren ein wenig ironisch und brachten die Leute dazu, die Annahmen über Regressionsmodelle zu erkennen, indem sie Priors als Kontext verwendeten.

Argument 1: Frequentistische Analyse ist eine Bayes'sche Analyse mit einem rein nicht informativen Prior, der auf Null zentriert ist (ja, es spielt keine Rolle, wo es zentriert ist, aber ignorieren Sie das). Dies liefert sowohl den Kontext, für den ein Bayesianer die Ergebnisse einer frequentistischen Analyse extrahieren könnte, als auch erklärt, warum Sie mit einigen "Bayesianischen" Techniken wie MCMC davonkommen können, um frequentistische Schätzungen in Situationen zu extrahieren, in denen beispielsweise die Konvergenz mit maximaler Wahrscheinlichkeit schwierig ist Menschen erkennen, dass, wenn sie sagen "Die Daten sprechen für sich selbst" und dergleichen, sie tatsächlich sagen, dass im Voraus alle Werte gleich wahrscheinlich sind.

Argument 2: Jedem Regressionsbegriff, den Sie nicht in ein Modell einbeziehen, wurde im Endeffekt ein Prior zugewiesen, der auf Null zentriert ist und keine Varianz aufweist. Dies ist weniger eine "Bayesianische Analyse ist eine Verallgemeinerung" als vielmehr ein "Es gibt überall Prioritäten , auch in Ihren frequentistischen Modellen".

Fomite
quelle
3
+1 Argument 2 ist interessant. Zwei Kommentare zu Argument 1: 1. Ich würde sagen, flache Prioritäten statt uninformative (letzteres ist eine Fehlbezeichnung, falls es jemals eine gegeben hat). 2. Es ist nicht notwendig, über Prioritäten zu sprechen, um den Einsatz von MCMC in der Frequenzanalyse zu motivieren - diese numerische Technik ist an sich nicht bayesianisch !
MånsT
danke EpiGrad. Haben Sie Referenzen, die die beiden von Ihnen genannten Argumente diskutieren?
singelton
1
+1 Okay, solange die Leute erkennen, dass es eine Zunge in der Wange ist, einen Punkt zu vermitteln. Aber bitte nimm es nicht ernst!
Michael R. Chernick
@ MånsT - Vereinbarte über MCMC nicht um eine Rechtfertigung für den Einsatz, aber ich finde es existiert in Völker als etwas in dem Bayes - Bereich dagegen, sondern als eine rein numerische Technik. Dies hilft ihnen dabei, das abzustoßen.
Fomite
@bayesianOrFrequentist Nicht wirklich nein.
Fomite
6

Die kurze Antwort lautet wahrscheinlich "Ja - und Sie brauchen nicht einmal eine Wohnung, um dieses Argument zu vertreten."

Die Maximum-A-Posteriori-Schätzung (MAP) ist beispielsweise eine Verallgemeinerung der maximalen Wahrscheinlichkeit, die eine vorherige umfasst, und es gibt häufig vorkommende Ansätze, die analytisch äquivalent sind, um diesen Wert zu ermitteln. Der Frequentist bezeichnet "den Prior" als "Einschränkung" oder "Strafe" für die Wahrscheinlichkeitsfunktion und erhält die gleiche Antwort. So können Frequentisten und Bayesianer auf dasselbe als beste Parameterschätzung verweisen, auch wenn die Philosophien unterschiedlich sind. Abschnitt 5 dieser Veröffentlichung ist ein Beispiel, in dem sie gleichwertig sind.

Die längere Antwort lautet eher "Ja, aber es gibt oft andere Aspekte der Analyse, die die beiden Ansätze unterscheiden. Trotzdem sind selbst diese Unterscheidungen in vielen Fällen nicht unbedingt eisern gekleidet."

Während Bayesianer beispielsweise manchmal die MAP-Schätzung (posteriorer Modus) verwenden, wenn dies zweckmäßig ist, betonen sie stattdessen in der Regel den posterioren Mittelwert. Andererseits hat der hintere Mittelwert auch ein häufig vorkommendes Analogon, das als "Bagged" -Schätzung (aus der "Bootstrap-Aggregation") bezeichnet wird und fast nicht zu unterscheiden ist ( ein Beispiel für dieses Argument finden Sie in diesem PDF ). Das ist also auch keine wirklich "harte" Unterscheidung.

In der Praxis bedeutet dies alles, dass selbst wenn ein Frequentist etwas tut, was ein Bayesianer für völlig illegal hält (oder umgekehrt), es oft (zumindest im Prinzip) eine Annäherung des anderen Lagers gibt, die fast die gleiche Antwort liefert.

Die Hauptausnahme ist, dass einige Modelle aus der Sicht des Frequentisten schwer zu finden sind, aber das ist eher ein praktisches als ein philosophisches Problem.

David J. Harris
quelle
danke David. Ihre Antwort ist nützlich. Ich suche auch eine Referenz, die diesen Punkt ausführlich bespricht. Ich möchte sehen, was das Argument der Bayesianer über nicht-informative Prioritäten ist und wie sie auf den frequentistischen Ansatz reduziert werden können. Ich verstehe den technischen Hintergrund perfekt (wenn Sie beispielsweise Ihre Wahrscheinlichkeit mit 1 multiplizieren, erhalten Sie Ihre Wahrscheinlichkeit :-)), aber ich bin auf der Suche nach einer angemesseneren Diskussion.
Singelton
1
Ich stelle fest, dass viele junge Menschen die Geschichte oder das Wesen des Bayes'schen Paradigmas nicht kennen. Um es als Verallgemeinerung des frequentistischen Ansatzes zu bezeichnen, ist der Vergleich dieser Paradigmen falsch. Wenn ich den Kommentar von Procrastinators auf eine etwas andere Art und Weise ausführe, würde ich sagen, dass es sich bei einem Apfel nur um eine übergroße Orange handelt.
Michael R. Chernick
@DavidJHarris Ihre Antwort hat mir nicht gefallen. Technisch gesehen sind die Beziehungen, auf die Sie verweisen, legitim, aber wenn Sie in der kurzen Antwort "Ja" sagen, entsteht der falsche Eindruck. Ich glaube nicht, dass Bayesianer ihr Paradigma als Verallgemeinerung der frequntistischen Statistik bezeichnen wollen. Die Begriffe sind vollständig bayesianisch, empirisch und unterscheiden möglicherweise bayesianische Paradigmen, aber ich denke, Bayesianer könnten Einwände dagegen haben, diese Zweige des Bayesianischen Paradigmas zu nennen.
Michael R. Chernick
2
@MichaelChernick Punkt genommen. Ich wollte nicht implizieren, dass die gesamte Bayes-Statistik und -Philosophie enge frequentistische Analogien aufweist und umgekehrt, nur dass man oft eine Methode finden kann , die die gleiche Aufgabe in beiden Lagern erledigt, und dass der Bayes-Ansatz dazu tendiert, die zu sein flexibler von beiden. Vielleicht hätte ich betonen sollen, dass die Parameterschätzungen, die Sie von den beiden Schulen erhalten, auch dann noch unterschiedlich interpretiert werden sollten, wenn sie identisch sind, wie Procrastinator an anderer Stelle hervorhob.
David J. Harris
@ DavidJHarris. Ich bin mit allem einverstanden, was Sie sagen, sehe aber nur Ausnahmen von der Verwendung des Begriffs Verallgemeinerung.
Michael R. Chernick
3

Edwin Jaynes war einer der besten, der die Zusammenhänge zwischen bayesianischer und frequentistischer Folgerung hervorhob. Sein Papier- Konfidenzintervall im Vergleich zum Bayes-Intervall (Google Search bringt es auf den Punkt ) ist ein sehr gründlicher Vergleich - und ich denke, ein fairer.

Die Schätzung kleiner Bereiche ist ein weiterer Bereich, in dem ML / REML / EB / HB-Antworten in der Regel nahe beieinander liegen.

Wahrscheinlichkeitslogik
quelle
2

Viele dieser Kommentare gehen davon aus, dass "Frequentist" "Maximum-Likelihood-Schätzung" bedeutet. Einige Leute haben eine andere Definition: "Frequentist" bedeutet eine Art Analyse der langfristigen inferentiellen Eigenschaften einer Inferenzmethode - ob es sich um eine Bayes'sche Methode, eine Methode der Momente oder eine Maximum-Likelihood-Methode handelt oder um etwas Unwahrscheinliches Begriffe (zB SVM's) usw.

Brendan OConnor
quelle
1

Ich würde gerne von Stephane oder einem anderen Bayesianischen Experten darüber hören. Ich würde nein sagen, weil es ein anderer Ansatz ist, keine Verallgemeinerung. In einem anderen Zusammenhang wurde dies hier zuvor argumentiert. Denken Sie nicht, dass eine Bayes'sche Methode mit einem flachen Prior häufig vorkommt, nur weil flache Priors Ergebnisse liefern, die der maximalen Wahrscheinlichkeit nahe kommen! Ich denke, das wäre eine falsche Vermutung, die Sie zu der Annahme veranlassen würde, dass Sie, indem Sie das Vorherige willkürlich machen, auf andere mögliche Prioritäten verallgemeinern. Ich denke nicht so und ich bin mir ziemlich sicher, dass die meisten Bayesianer dies auch nicht tun.

Einige Leute argumentieren, aber ich denke nicht, dass sie als Bayesianer klassifiziert werden sollten

obwohl Stephane auf die Schwierigkeit einer starken Klassifizierung hingewiesen hat. Wenn das Wort jemals verwendet wird, hängt es wahrscheinlich davon ab, wie Sie Bayesian definieren.

Michael R. Chernick
quelle
(+1) Es handelt sich um völlig unterschiedliche Ansätze. Es ist wie zu sagen, dass Orangen Äpfel verallgemeinern.
5
Wenn man viel Orangen und keine Äpfel isst, denkt man das auch.
Alfred M.
Dies ist wahr, obwohl die maximale Wahrscheinlichkeit eines der wenigen allgemeinen Verfahren ist, um eine häufigere Schlussfolgerung zu ziehen. Daher wird es in allgemeinen Diskussionen über frequentistische Methoden immer überrepräsentiert sein. Ich bin überrascht, dass Stichproben wie GREG nicht erwähnt wurden.
Wahrscheinlichkeitslogik