Wer sind die Bayesianer?

92

Wenn man sich für Statistik interessiert, wird die Dichotomie "Frequentist" vs. "Bayesian" bald alltäglich (und wer hat Nate Silvers " Das Signal und das Rauschen " überhaupt nicht gelesen ?). In Vorträgen und Einführungskursen ist die Sichtweise überwiegend häufig ( MLE- , Werte), aber es bleibt in der Regel nur ein kleiner Teil der Zeit, um die Bayes-Formel zu bewundern und die Idee einer vorherigen Verteilung zu berühren, in der Regel tangential.p

Der Ton, mit dem die Bayes'sche Statistik diskutiert wird, pendelt zwischen dem Respekt für ihre begrifflichen Grundlagen und einem Anflug von Skepsis hinsichtlich der Kluft zwischen hohen Zielen und Willkür bei der Auswahl der vorherigen Verteilung oder schließlich der Verwendung von frequentistischer Mathematik.

Sätze wie "Wenn Sie ein Hardcore-Bayesianer sind ..." gibt es zuhauf.

Die Frage ist: Wer sind heute die Bayesianer? Sind es ausgewählte akademische Einrichtungen, in denen Sie wissen, dass Sie Bayesianer werden, wenn Sie dorthin gehen? Wenn ja, sind sie besonders gefragt? Beziehen wir uns nur auf ein paar angesehene Statistiker und Mathematiker, und wenn ja, wer sind sie?

Gibt es sie überhaupt als solche, diese reinen "Bayesianer"? Würden sie das Etikett gerne annehmen? Ist es immer eine schmeichelhafte Unterscheidung? Sind es Mathematiker mit besonderen Folien in Besprechungen, denen Werte und Konfidenzintervalle entzogen sind, die in der Broschüre leicht zu erkennen sind?p

Wie viel von einer Nische ist es, ein "Bayesianer" zu sein? Beziehen wir uns auf eine Minderheit von Statistikern?

Oder wird der aktuelle Bayesianismus mit Anwendungen für maschinelles Lernen gleichgesetzt?

... Oder noch wahrscheinlicher: Ist die Bayes'sche Statistik weniger ein Zweig der Statistik als vielmehr eine erkenntnistheoretische Bewegung, die den Bereich der Wahrscheinlichkeitsberechnung in eine Wissenschaftsphilosophie überführt? In dieser Hinsicht wären alle Wissenschaftler im Herzen Bayesianer ... aber es gäbe keinen reinen Bayesianer, der für frequentistische Techniken (oder Widersprüche) undurchlässig wäre.

Antoni Parellada
quelle
18
Ich würde auch gerne wissen! Ich habe das Gefühl, dass "Bayesianer" oft ein Begriff ist, der von denen verwendet wird, die diese Art von Statistik nicht mögen. Ich bin ein großer Fan der Bayesianischen Datenanalyse, aber ich betrachte mich nicht als Bayesianer , genauso wenig wie ich mich als Matrix-Algebraist betrachte .
Rasmus Bååth
4
Die scheinbare Trennung ist in gewisser Weise imaginär. Manchmal mögen es die Leute einfach, sich auf sie und uns einzulassen. Ich habe den Eindruck, dass es nach ein paar Jahren niemanden mehr interessiert. Die "Philosophien" widersprechen sich nicht. Frequentisten haben kein magisches Rezept, um gute Schätzer zu finden. Bei zwei Schätzern können sie jedoch ein Kriterium für die Entscheidung haben, welcher Schätzer am besten ist. (Selbst dann könnten zwei Frequentisten nicht einverstanden sein und unterschiedliche Kriterien verwenden. Aber ich schweife ab). ...
Aaron McDaid
1
... (Fortsetzung) Ein Hardcore-Frequentist, der nach einer Klasse von Schätzern sucht, aus denen er die "beste" auswählen kann, könnte sich vernünftigerweise dafür entscheiden, die Klasse aller Bayes'schen Schätzer (dh vorrangiger Schätzer) zu berücksichtigen und daher den Schätzer (vor) zu verwenden. das ist am besten nach ihrem "objektiven" Kriterium. Ist eine solche Person ein Frequentist (weil sie den besten Schätzer auswählt) oder ein Bayesianer (weil sie nur Bayesianische Schätzer als Kandidaten betrachtet)? Interessiert es jemanden? Ich schätze, viele dieser Leute nennen sich Bayesianisch, obwohl sie sich in ihrer Selbstzuweisung möglicherweise irren.
Aaron McDaid
3
Nur zur Kenntnisnahme: MLEs basieren ebenfalls auf wahrscheinlichkeitstheoretischen Methoden und sind nicht rein frequentistisch.
Lauren Goodwin
5
@Count Ein Teil der mir vertrauten Literatur (Risikokommunikation und verwandte Psychologie - Kahneman, Slovic, Tersky ua ) zeigt, dass Menschen keine mathematisch korrekten Verfahren anwenden, um über Wahrscheinlichkeiten zu urteilen . Für einen populären Bericht über einige davon siehe Kahneman's Thinking, Fast and Slow. Die logische Folge Ihres Kommentars ist also, dass Menschen keine "komplexen Lebensformen" sind.
whuber

Antworten:

58

Ich werde Ihre Fragen in der folgenden Reihenfolge beantworten:

Die Frage ist: Wer sind heute die Bayesianer?

Jeder, der Bayesianische Daten analysiert und sich selbst als "Bayesian" identifiziert. Genau wie ein Programmierer ist jemand, der als "Programmierer" programmiert und sich selbst identifiziert. Ein kleiner Unterschied besteht darin, dass Bayesian aus historischen Gründen ideologische Konnotationen hat, und zwar aufgrund des oft hitzigen Streits zwischen Befürwortern "frequentistischer" Wahrscheinlichkeitsinterpretationen und Befürwortern "bayesianischer" Wahrscheinlichkeitsinterpretationen.

Handelt es sich um ausgewählte akademische Einrichtungen, in denen Sie wissen, dass Sie Bayesianer werden, wenn Sie dorthin gehen?

Nein, genau wie in anderen Teilen der Statistik braucht man nur ein gutes Buch (und vielleicht einen guten Lehrer).

Wenn ja, sind sie besonders gefragt?

Die Bayes'sche Datenanalyse ist ein sehr nützliches Werkzeug für die statistische Modellierung, was meiner Meinung nach eine sehr gefragte Fähigkeit ist (auch wenn Unternehmen möglicherweise nicht speziell nach "Bayes'schen" suchen).

Beziehen wir uns nur auf ein paar angesehene Statistiker und Mathematiker, und wenn ja, wer sind sie?

Es gibt viele angesehene Statistiker, von denen ich glaube, dass sie sich Bayesianer nennen , aber das sind nicht die Bayesianer.

Gibt es sie überhaupt als solche, diese reinen "Bayesianer"?

Das ist ein bisschen wie die Frage "Gibt es diese reinen Programmierer?" Es gibt einen amüsanten Artikel mit dem Titel 46656 Varieties of Bayesians , und sicher gibt es unter "Bayesians" ein gesundes Argument in Bezug auf viele grundlegende Fragen. Genauso wie Programmierer über die Vorzüge verschiedener Programmiertechniken streiten können. (Übrigens, reine Programmierer programmieren in Haskell).

Würden sie das Etikett gerne annehmen?

Manche tun es, manche nicht. Als ich die Bayes'sche Datenanalyse entdeckte, dachte ich, es sei das beste seit geschnittenem Brot (was ich immer noch tue) und ich war froh, mich "Bayes'sch" zu nennen (nicht zuletzt, um die p-wertigen Leute in meiner Abteilung zu irritieren). Heutzutage mag ich den Begriff nicht, ich denke, er könnte die Menschen entfremden, da die Bayes'sche Datenanalyse wie eine Art Kult klingt, was es nicht ist, anstatt eine nützliche Methode in Ihrer statistischen Toolbox zu haben.

Ist es immer eine schmeichelhafte Unterscheidung?

Nee! Soweit ich weiß, wurde der Begriff "Bayesian" vom berühmten Statistiker Fisher als abfälliger Begriff eingeführt. Vorher hieß es "inverse Wahrscheinlichkeit" oder nur "Wahrscheinlichkeit".

Sind es Mathematiker mit besonderen Folien in Besprechungen, denen p-Werte und Konfidenzintervalle entzogen sind, die in der Broschüre leicht zu erkennen sind?

Nun, es gibt Konferenzen in der Bayes'schen Statistik, und ich glaube nicht, dass sie so viele p-Werte enthalten. Ob Sie die Folien als besonders empfinden, hängt von Ihrem Hintergrund ab ...

Wie viel von einer Nische ist es, ein "Bayesianer" zu sein? Beziehen wir uns auf eine Minderheit von Statistikern?

Ich denke immer noch, dass sich eine Minderheit der Statistiker mit Bayes-Statistiken befasst, aber ich denke auch, dass der Anteil wächst.

Oder wird der aktuelle Bayesianismus mit Anwendungen für maschinelles Lernen gleichgesetzt?

Nein, aber Bayes'sche Modelle werden häufig beim maschinellen Lernen verwendet. Hier ist ein großartiges Buch zum maschinellen Lernen, das maschinelles Lernen aus einer bayesianischen / probibalistischen Perspektive präsentiert: http://www.cs.ubc.ca/~murphyk/MLbook/

Hoffe, dass die meisten Fragen beantwortet :)

Aktualisieren:

[C] Könnten Sie bitte eine Liste spezifischer Techniken oder Prämissen hinzufügen, die die Bayes'schen Statistiken unterscheiden?

Was die Bayes'sche Statistik auszeichnet, ist die Verwendung von Bayes'schen Modellen :) Hier ist meine Vorstellung davon, was ein Bayes'sches Modell ist :

Ein Bayes'sches Modell ist ein statistisches Modell, bei dem Sie die Wahrscheinlichkeit verwenden, um alle Unsicherheiten innerhalb des Modells darzustellen, sowohl die Unsicherheit in Bezug auf die Ausgabe als auch die Unsicherheit in Bezug auf die Eingabe (auch als Parameter bezeichnet) in das Modell. Darauf folgt der ganze Satz von Prior / Posterior / Bayes, aber meiner Meinung nach macht es die Verwendung der Wahrscheinlichkeit für alles zum Bayesian (und in der Tat wäre ein besseres Wort vielleicht nur so etwas wie ein probabilistisches Modell).

Nun können Bayes'sche Modelle schwierig zu passen sein , und es gibt eine Vielzahl verschiedener Computertechniken, die hierfür verwendet werden. Aber diese Techniken sind an sich nicht bayesianisch . So benennen Sie einige Computertechniken:

  • Markov-Kette Monte Carlo
    • Metropolis-Hastings
    • Gibbs Probenahme
    • Hamiltonian Monte Carlo
  • Variations-Bayes
  • Ungefähre Bayes'sche Berechnung
  • Partikelfilter
  • Laplace-Approximation
  • Und so weiter...

Wer war der berühmte Statistiker, der den Begriff "Bayesian" als abwertend einführte?

Es war angeblich Ronald Fisher. Die Zeitung Wann wurde die Bayes'sche Folgerung "Bayes'sch"? gibt die Geschichte des Begriffs "Bayesian".

Rasmus Bååth
quelle
2
Oh wow, ich erinnere mich an dich aus dem Beitrag über Prominente auf Andrew Gelmans Blog! Ich freue mich darauf, "46656 Varieties of Bayesians" zu lesen. Vielen Dank für eine gute Antwort!
Ellie Kesselman
2
Sehr gut! Ich mag es, dass Sie das Wort "Kult" fallen gelassen haben. Ich zögerte, damit niemand beleidigt wurde. Einige meiner Fragen waren nur als Eingabeaufforderungen gedacht ... am Ende versuche ich, etwas über Statistik zu lernen, und ich war neugierig, die Dichotomie von innen heraus zu verstehen.
Antoni Parellada
1
Ein Kommentar: Es gibt viele Dinge, die als "Bayesianisch" bezeichnet werden und die Leute neigen dazu, sie zu verwirren (und genau das tun sie in diesen Fragen und Antworten!). Eine unvollständige Liste: Die Bayes'sche Gehirnhypothese (ein Gehirn macht im Grunde Bayes'sche Statistiken), die Bayes'sche Wissenschaftstheorie, die Bayes'sche Statistik, die Bayes'sche Sicht der Wahrscheinlichkeit, Berechnungsmethoden für die Bayes'sche Statistik usw. Sicherlich hängen viele davon zusammen (sagen wir, Bayes Wahrscheinlichkeit und Bayes. Statistik), aber Sie müssen nicht alle kaufen! ZB denke ich, dass das Bayesianische Gehirn sehr verdächtig ist, aber nehme die Bayesianische Statistik als nützliche und praktische Technik an .
Rasmus Bååth
1
Guter Eintrag! Eine Sache, mit der ich jedoch nicht einverstanden bin, ist Ihre Antwort auf die Frage "Sind es einige ausgewählte akademische Einrichtungen, bei denen Sie wissen, dass Sie Bayesianer werden, wenn Sie dorthin gehen?" Frage. Wenn Sie in die Statistikabteilung von Duke gehen, werden Sie Bayesianer.
TrynnaDoStat
2
Mann, wenn ich eine positive Bewertung für jede Frage hätte, die ich hier beantwortet habe, hätte ich ... 12 positive Bewertungen :)
Rasmus Bååth
25

Bayesianer sind Menschen, die Wahrscheinlichkeiten als numerische Repräsentation der Plausibilität eines Satzes definieren. Frequentisten sind Menschen, die Wahrscheinlichkeiten als Darstellung von Langzeitfrequenzen definieren. Wenn Sie nur mit der einen oder anderen dieser Definitionen zufrieden sind, sind Sie entweder Bayesianer oder Frequentist. Wenn Sie mit beiden zufrieden sind und die für die jeweilige Aufgabe am besten geeignete Definition verwenden, sind Sie ein Statistiker! ; o) Grundsätzlich läuft es auf die Definition einer Wahrscheinlichkeit hinaus, und ich hoffe, dass die meisten arbeitenden Statistiker die Vor- und Nachteile beider Ansätze erkennen können.

ein Hauch von Skepsis in Bezug auf die Kluft zwischen hohen Zielen und Willkür bei der Auswahl der vorherigen Verteilung oder letztendlich der Verwendung von frequentistischer Mathematik.

Die Skepsis geht auch in die andere Richtung. Der Frequentismus wurde mit dem hohen Ziel erfunden, die Subjektivität bestehender Überlegungen zu Wahrscheinlichkeit und Statistik zu beseitigen. Die Subjektivität ist jedoch immer noch vorhanden (zum Beispiel bei der Bestimmung des geeigneten Signifikanzniveaus beim Testen von Hypothesen), wird jedoch nur nicht explizit angegeben oder häufig einfach ignoriert .

Dikran Beuteltier
quelle
1
Das verstehe ich nicht. Sie können die Wahrscheinlichkeit als Darstellung von Langzeitfrequenzen definieren, aber an eine Hypothese nur dann glauben, wenn ihr P (H | O) hoch ist und wissen, dass P (O | H) (p-Wert) wenig aussagt. (Wenn Sie lange genug mit genügend Selbstbeobachtung leben, können Sie direkt die Häufigkeit des richtigen
Verhaltens
2
Frequentisten können P (H | O) keinen Wert zuweisen, da die Wahrheit einer bestimmten Hypothese keine langfristige Häufigkeit hat, sie ist entweder wahr oder nicht. Infolgedessen können wir nur einer (möglicherweise fiktiven) Population von Experimenten Wahrscheinlichkeiten zuordnen, aus denen diejenige stammt, die wir tatsächlich beobachtet haben, oder "H0 ablehnen" oder "H0 nicht ablehnen" bei einem bestimmten Signifikanzniveau. Leider lässt jeder Ansatz die Möglichkeit einer Fehlinterpretation zu, da genau P (H | O) das ist, was wir vom Test tatsächlich wollen. Beide Ansätze haben ihre Verwendung, aber es ist wichtig, ihre Grenzen zu kennen.
Dikran Beuteltier
Gibt es ein anderes Gebiet der Mathematik, dessen Praktiker sich als Geisel der Philosophie erweisen? Unabhängig davon tauchen in der Praxis im Wesentlichen immer wieder die gleichen Fragen auf. Beispiel: "Hat diese Person einen Mord begangen?" Die eindeutige Identität des Beschuldigten spielt keine Rolle (so wie wir die physischen Details eines bestimmten Würfels ignorieren). Angesichts der Tausenden von Morden, die jedes Jahr begangen werden (und der Tausenden unschuldiger Angeklagten), dürften die Umstände mehrmals vorgekommen sein. Was ist nicht häufig daran, über die Schuld eines Menschen zu entscheiden? Die Verwendung von p-Wert wäre jedoch eine schwerwiegende Ungerechtigkeit.
Aleksandr Dubinsky
21

Andrew Gelman , zum Beispiel Professor für Statistik und Politikwissenschaft an der Columbia University, ist ein bekannter Bayesianer.

Ich vermute, die meisten ISBA-Stipendiaten würden sich wahrscheinlich auch als Bayesianer betrachten.

Im Allgemeinen spiegeln die folgenden Forschungsthemen einen Bayes'schen Ansatz wider. Wenn Sie Artikel darüber lesen, würden sich die Autoren wahrscheinlich selbst als "Bayesianer" bezeichnen.

  • Markov-Kette Monte Carlo
  • Variationelle Bayes'sche Methoden (der Name verrät es)
  • Partikelfilterung
  • Probabilistische Programmierung
Arthur B.
quelle
2
Kleine Anmerkung: Partikelfilterung ist nicht nur für Bayesianer! Ich arbeitete unter einem Professor in Berkeley, bei dem wir Partikelfilter für den E-Schritt eines MCEM-Algorithmus verwendeten. Aber ja, Partikelfilter werden typischerweise von Bayesianern verwendet.
Cliff AB
1
Wenn Sie den Rechenpreis zahlen, warum erhalten Sie dann nicht die philosophische Konsistenz?
Arthur B.
8
Gelman ist jedoch kein "harter Kern". Soweit ich das beurteilen kann, sieht er die Bayes'sche Statistik als etwas, das sich in der Praxis bewährt hat, und er ist definitiv an den frequentistischen Eigenschaften der Bayes'schen Prozeduren interessiert.
A. Donda
5
Es sollte beachtet werden, dass Markov-Chain Monte Carlo nicht direkt mit der Bayes'schen Statistik zusammenhängt, ebenso wie die numerische Optimierung nicht direkt mit der Maximum-Likelihood-Schätzung zusammenhängt ...
Rasmus Bååth
3
Ich denke, es ist auch erwähnenswert, dass Andrew Gelman geschrieben hat, er halte es überhaupt nicht für sinnvoll, eine Person als "Bayesianer" oder "Frequentist" zu bezeichnen. Bestimmte TECHNIKEN können jedoch so gekennzeichnet sein. Er hält es für kontraproduktiv, Statistiker willkürlich in das eine oder andere Lager aufzuteilen, da beide Methoden in unterschiedlichen Kontexten unterschiedliche Stärken und Schwächen aufweisen.
Ryan Simmons
20

Heute sind wir alle Bayesianer , aber es gibt eine Welt jenseits dieser beiden Lager: algorithmische Wahrscheinlichkeit. Ich bin mir nicht sicher, was die Standardreferenz zu diesem Thema ist, aber es gibt diesen schönen Artikel von Kolmogorov über algorithmische Komplexität: AN Kolmogorov, Drei Ansätze zur Definition des Begriffs „Informationsmenge“ , Probl. Peredachi Inf., 1965, Band 1, Ausgabe 1, 3–11. Ich bin sicher, dass es eine englische Übersetzung gibt.

In dieser Arbeit definiert er die Informationsmenge auf drei Arten: kombinatorisch, probabilistisch und (neu) algorithmisch. Kombinatorische Karten direkt auf Frequentist, Probabilist entspricht nicht direkt Bayesian, aber es ist kompatibel mit ihm.

UPDATE: Wenn Sie sich für die Philosophie der Wahrscheinlichkeit interessieren, dann möchte ich auf ein sehr interessantes Werk verweisen: " Die Ursprünge und das Erbe von Kolmogorovs Grundbegriffe"von Glenn Shafer und Vladimir Vovk. Wir haben sozusagen alles vor Kolmogorov vergessen, und vor seiner bahnbrechenden Arbeit war viel los. Andererseits wissen wir nicht viel über seine philosophischen Ansichten. Es wird allgemein angenommen, dass er es war Zum Beispiel ein Frequentist. Die Realität ist, dass er 1930 in der Sowjetunion lebte, wo es ziemlich gefährlich war, sich in die Philosophie zu wagen Ich glaube, er war in Wirklichkeit nicht nur ein Mathematiker, sondern ein Wissenschaftler und hatte eine komplexe Sicht auf die Anwendbarkeit der Wahrscheinlichkeitstheorie auf die Realität.

Es gibt auch eine andere Veröffentlichung von Vovk über Kolmogorovs algorithmischen Ansatz zur Zufälligkeit: Kolmogorovs Beiträge zu den Grundlagen der Wahrscheinlichkeit

Vovk hat einen spieltheoretischen Ansatz für Wahrscheinlichkeiten entwickelt - ebenfalls sehr interessant.

P(B|E)BEP(E|B)

Bildbeschreibung hier eingeben

UPDATE 3:

Ich wollte auch auf etwas in Kolmogorovs Originalwerk hinweisen, das den Praktizierenden aus irgendeinem Grund (oder leicht vergessen) nicht bekannt ist. Er hatte einen Abschnitt über das Verbinden der Theorie mit der Realität. Insbesondere legte er zwei Bedingungen für die Verwendung der Theorie fest:

  • A. Wenn Sie das Experiment viele Male wiederholen, weicht die Häufigkeit des Auftretens mit ziemlicher Sicherheit nur geringfügig von der Wahrscheinlichkeit ab
  • B. Wenn die Wahrscheinlichkeit sehr gering ist, können Sie praktisch sicher sein, dass das Ereignis nicht eintritt, wenn Sie das Experiment nur einmal durchführen

Es gibt unterschiedliche Interpretationen dieser Zustände, aber die meisten Leute würden zustimmen, dass dies nicht die Ansichten des reinen Frequentisten sind. Kolmogorov erklärte, dass er in gewissem Maße von Mises 'Ansatz folge, aber er schien darauf hinzuweisen, dass die Dinge nicht so einfach seien, wie es scheinen mag. Ich denke oft an Zustand B und kann nicht zu einem stabilen Ergebnis kommen. Es sieht jedes Mal ein wenig anders aus, wenn ich darüber nachdenke.

Aksakal
quelle
2
Ist Ihr erster Hyperlink das, was Sie beabsichtigt haben?
Antoni Parellada
3
@AntoniParellada, es soll ein Witz sein :)
Aksakal
Völlig über meinem Kopf ... Und es ist wahrscheinlich lustig, angesichts der dummen Natur der Diskussion mit Hyperlinks ... Tut mir leid, dass ich es verpasst habe ...
Antoni Parellada
1
"McCain an den georgischen Präsidenten:" Heute sind wir alle Georgier "Haha, das ist lustig
Deep North
1
@Aksakal Kolmogorov auf Englisch
Antoni Parellada
17

Der "hard core" Bayesian, den ich kenne, ist Edwin Jaynes , der 1998 verstorben ist. Ich würde erwarten, dass unter seinen Schülern weitere "hard core" Bayesianer zu finden sind, insbesondere der posthume Mitautor seines Hauptwerkes Probability Theory: The Logik der Wissenschaft , Larry Bretthorst. Andere bemerkenswerte historische Bayesianer sind Harold Jeffreys und Leonard Savage . Obwohl ich keinen vollständigen Überblick über das Gebiet habe, habe ich den Eindruck, dass die neuere Popularität der Bayes'schen Methoden (insbesondere beim maschinellen Lernen) nicht auf einer tiefen philosophischen Überzeugung beruht, sondern auf der pragmatischen Position, dass sich die Bayes'schen Methoden in vielen Fällen als nützlich erwiesen haben anwendungen. Ich denke, typisch für diese Position ist Andrew Gelman .

A. Donda
quelle
Es klingt ein bisschen nach einer romantischen Idee. Norman Rockwell von Statistiken?
Antoni Parellada
1
@AntoniParellada, ich habe keine Ahnung, was Sie damit meinen ...
A. Donda
2
Jaynes und Jeffreys waren die, an die ich auch gedacht hatte. Ein großartiger Aufsatz ist "Wo stehen wir auf maximaler Entropie?"
Neil G
2
Hmmm, ich habe Jaynes immer als sehr pragmatisch über Bayes gelesen.
Rasmus Bååth
8

Ich weiß nicht, wer die Bayesianer sind (obwohl ich denke, dass ich dafür eine vorherige Verteilung haben sollte), aber ich weiß, wer sie nicht sind.

Um den bedeutenden, inzwischen verstorbenen Bayesianer DV Lindley zu zitieren: "Es gibt keinen geringeren Bayesianer als einen empirischen Bayesianer". Empirische Bayes-Sektion der Bayes'schen Methoden: Ein sozial- und verhaltenswissenschaftlicher Ansatz, 2. Auflage von Jeff Gill . Das heißt, ich nehme an, dass sogar "Frequentisten" darüber nachdenken, welches Modell Sinn macht (die Wahl einer Modellform setzt in gewissem Sinne einen Prior voraus), im Gegensatz zu empirischen Bayesianern, die in allem total mechanisch sind.

Ich denke, dass es in der Praxis keinen so großen Unterschied zwischen den Ergebnissen statistischer Analysen gibt, die von Bayesianern und Frequentisten der Spitzenklasse durchgeführt wurden. Was beängstigend ist, ist, wenn Sie einen minderwertigen Statistiker sehen, der versucht, sich selbst streng nach seinem ideologischen Vorbild mit absoluter ideologischer Reinheit zu strukturieren (und die Analyse genau so durchzuführen, wie er es für sein Vorbild hält, aber ohne das Denk- und Urteilsqualität, die das Vorbild hat. Das kann zu sehr schlechten Analysen und Empfehlungen führen. Ich denke, ultraharte Kernideologen von geringer Qualität sind bei Bayesianern weitaus häufiger anzutreffen als bei Frequentisten. Dies gilt insbesondere für die Entscheidungsanalyse.

Mark L. Stone
quelle
1
Es ist schön, mit Humor auf einige Starrheiten hinzuweisen. Ty
Antoni Parellada
6

Ich bin wahrscheinlich zu spät für diese Diskussion, um dies zu bemerken, aber ich denke, es ist eine Schande, dass niemand darauf hingewiesen hat, dass der wichtigste Unterschied zwischen Bayesianischen und Frequentistischen Ansätzen darin besteht, dass die Bayesianer (meistens) Methoden anwenden Dies respektiert das Wahrscheinlichkeitsprinzip, wohingegen Frequentisten dies fast immer nicht tun. Das Wahrscheinlichkeitsprinzip besagt, dass die für den interessierenden statistischen Modellparameter relevanten Nachweise vollständig in der relevanten Wahrscheinlichkeitsfunktion enthalten sind.

Frequentisten, die sich für statistische Theorie oder Philosophie interessieren, sollten sich mehr mit Argumenten über die Gültigkeit des Wahrscheinlichkeitsprinzips befassen als mit Argumenten über die Unterscheidung zwischen Häufigkeits- und partiellen Glaubensinterpretationen von Wahrscheinlichkeit und über die Wünschbarkeit früherer Wahrscheinlichkeiten. Während es möglich ist, dass unterschiedliche Interpretationen der Wahrscheinlichkeit ohne Konflikte koexistieren und einige Menschen sich dafür entscheiden, einen Prior zu liefern, ohne dass andere dazu aufgefordert werden, verlieren viele frequentistische Methoden ihre Behauptungen, wenn das Wahrscheinlichkeitsprinzip entweder im positiven oder im normativen Sinne zutrifft zur Optimalität. Häufige Angriffe auf das Wahrscheinlichkeitsprinzip sind vehement, da dieses Prinzip ihre statistische Weltanschauung untergräbt, aber meistens verfehlen diese Angriffe ihre Marke ( http://arxiv.org/abs/1507.08394)).

Michael Lew
quelle
4

Sie glauben vielleicht, dass Sie ein Bayesianer sind, aber Sie irren sich wahrscheinlich ... http://www.rmm-journal.de/downloads/Article_Senn.pdf

Bayesianer leiten die Wahrscheinlichkeitsverteilung der interessierenden Ergebnisse nach vorheriger Überzeugung / vorheriger Information ab. Für einen Bayesianer ist diese Verteilung (und ihre Zusammenfassungen) das, woran die meisten Menschen interessiert sein werden. Im Gegensatz zu typischen "frequentistischen" Ergebnissen, aus denen hervorgeht, wie wahrscheinlich es ist, dass die Ergebnisse als oder extremer als die beobachteten angesehen werden, wenn die Nullhypothese wahr ist ( p-Wert) oder Intervallschätzungen für den interessierenden Parameter, von denen 95% den wahren Wert enthalten würden, wenn Sie eine wiederholte Abtastung durchführen könnten (Konfidenzintervall).

Bayesianische Prior-Distributionen sind umstritten, weil sie IHR Prior sind. Es gibt keine "richtigen" vor. Die meisten pragmatischen Bayesianer suchen nach externen Beweisen, die für die Vorfahren verwendet werden können, und diskontieren oder modifizieren diese auf der Grundlage dessen, was für den jeweiligen Fall als "vernünftig" erwartet wird. Zum Beispiel können skeptische Vorgesetzte eine Wahrscheinlichkeitsschwankung in einem Nullfall aufweisen - "Wie gut müssten die Daten sein, damit ich meine Meinung ändere / die derzeitige Praxis ändere?" Die meisten werden sich auch mit der Robustheit von Schlussfolgerungen für verschiedene Prioritäten befassen.

Es gibt eine Gruppe von Bayesianern, die sich mit "Referenz" -Prioren befassen, die es ihnen ermöglichen, Schlussfolgerungen zu konstruieren, die nicht von früheren Überzeugungen "beeinflusst" werden, und so Wahrscheinlichkeitsaussagen und Intervallschätzungen mit "frequentistischen" Eigenschaften erhalten.

Es gibt auch eine Gruppe von "Hardcore-Bayesianern", die befürworten könnten, kein Modell auszuwählen (alle Modelle sind falsch), und die argumentieren könnten, dass explorative Analysen zwangsläufig Ihre Vorgesetzten beeinflussen und daher nicht durchgeführt werden sollten. Es gibt nur wenige, die so radikal sind ...

In den meisten Bereichen der Statistik finden Sie Bayesianische Analysen und Praktiker. Genau wie Sie einige Leute finden, die Nicht-Parametrik bevorzugen ...

MikeKSmith
quelle
2
Ich glaube, ich verstehe die Bayes'schen Statistiken besser, nachdem ich Ihren Beitrag gelesen habe. Ich frage mich, ob Sie es mit der eigentlichen Frage in Verbindung bringen können, um sie in eine herausragende Antwort umzuwandeln ... Es war im Sinne der Bayesianer eine bestimmte Gruppe von Leuten mit Namen oder mathematischen Abteilungen, die für ihre Vorurteile gegenüber Bayes bekannt sind Statistiken usw.
Antoni Parellada
1
Es gibt viele Einzelpersonen und akademische Abteilungen, die jetzt und in der Vergangenheit die Bayes'sche Statistik favorisiert haben. Es ist schwer, einen bestimmten herauszufinden. Wenn Sie interessiert sind mehr dann würde ich empfehlen , bei ISBA suchen bayesian.org .
MikeKSmith
1
Ein paar Namen, auf die Sie achten sollten: Don Berry, Jim Berger, David Draper, Merlise Clyde, Mike West, David Spiegelhalter, Peter Thall ...
MikeKSmith
Ja, jemand anderes hat den Link gepostet, und ich habe tatsächlich die alphabetische Liste nach Mustern durchsucht ... Ich habe keine gefunden, was nicht verwunderlich ist, da ich kein Statistiker bin. Ich denke, die Idee läuft darauf hinaus, ob Bayes eine erhabene, reine Idee ist, an der die Leute gerne festhalten, oder ob es (noch) eine gut definierte, alltägliche Art ist, angewandte Statistik im Widerspruch zum Frequentismus zu praktizieren - letzteres eine, die nicht zu "sexy" klingt, um Ihren Namen zuzuordnen, aber möglicherweise praktischer ist?
Antoni Parellada
1
Als Antwort auf Ihre letzte Frage ist es beides. Es ist definitiv ein philosophischer Ansatz. Es ergänzt die wissenschaftliche Methode, die besagt, dass wir beobachten, was ist (Vorinformationen), Hypothesen aufstellen, experimentieren, synthetisieren und unser aktuelles Wissen aktualisieren, das zum Prior von morgen wird. Es ist aber auch eine statistische Analysemethode, die auf einen Einzelfall angewendet werden kann.
MikeKSmith
4

Um auf Ihre letzte Frage (ich bin also nicht hinter einem Preis her!) Nach einem Zusammenhang zwischen einem bayesianischen / frequentistischen Ansatz und der eigenen erkenntnistheoretischen Position einzugehen, ist Deborah Mayo die interessanteste Autorin, auf die ich gestoßen bin. Ein guter Ausgangspunkt ist dieser Austausch 2010 zwischen Mayo und Andrew Gelman (der sich hier als etwas ketzerischer Bayesianer herausstellt). Mayo veröffentlichte später eine detaillierte Antwort auf die Gelman & Shalizi Papier hier .

Alan Sloane
quelle
2

Eine Untermenge aller Bayesianer, dh der Bayesianer, die sich die Mühe gemacht haben, eine E-Mail zu senden, ist hier aufgelistet .

jaradniemi
quelle
Ich fand dort zwei Stat-Professoren, die sich als Bayesianer ausweisen. Das muss dann eine gute Liste sein.
Aksakal
1
@Aksakal Ich denke, das spiegelt eher die Tatsache wider, dass Statistiker aus verschiedenen Bereichen stammen. Wenn das Kriterium "Personen, die in wichtigen Statistikzeitschriften veröffentlicht wurden" lautet, zählen viele Dutzende dieser Namen, unabhängig vom Namen der Abteilung, in der sie sich befinden.
Glen_b
@Aksakal Ich verstehe deinen Standpunkt nicht. Es gibt 2 (vielleicht 3) Statistikprofessoren in den ersten 5 Personen auf dieser Liste.
Jaradniemi
@ Jaradniemi, ich erinnerte mich an zwei meiner Professoren, die offen Bayesianer sind, und fand sie dann in der Liste. Dies lässt mich denken, dass die Liste wahrscheinlich repräsentativ ist.
Aksakal
2

Ich würde Bruno de Finetti und LJ Savage Bayesians anrufen. Sie arbeiteten an den philosophischen Grundlagen.

AlaskaRon
quelle
10
Seitdem De Finetti vor 30 Jahren und Savage vor 44 Jahren gestorben sind, ist kaum zu erkennen, dass sie "Wer sind die heutigen Bayesianer?"
Whuber
@whuber ... Es klingt (von außen) eher nach einer netten, erhabenen Idee ... als würde man sich selbst als evidenzbasiert betrachten und unsere Sicht der Welt basierend auf unseren Prioritäten und den gesammelten Evidenzen ständig aktualisieren. Bayes als Erkenntnistheorie ... anstatt strikt an einer "anderen" Reihe von statistischen Techniken
festzuhalten
0

Für das Verständnis der grundlegenden Debatte zwischen Frequentisten und Bayesianern ist es schwierig, eine maßgeblichere Stimme als Bradley Efron zu finden.

Dieses Thema hat er in seiner Karriere bereits mehrfach angesprochen , aber ich persönlich fand eine seiner älteren Arbeiten hilfreich: Kontroversen in den Grundlagen der Statistik (diese wurde für ihre herausragenden Leistungen ausgezeichnet).

gnarledRoot
quelle