Wer sind die Bayesianer?

Wenn man sich für Statistik interessiert, wird die Dichotomie "Frequentist" vs. "Bayesian" bald alltäglich (und wer hat Nate Silvers " Das Signal und das Rauschen " überhaupt nicht gelesen ?). In Vorträgen und Einführungskursen ist die Sichtweise überwiegend häufig ( MLE- , Werte), aber es bleibt in der Regel nur ein kleiner Teil der Zeit, um die Bayes-Formel zu bewundern und die Idee einer vorherigen Verteilung zu berühren, in der Regel tangential.$p$

Der Ton, mit dem die Bayes'sche Statistik diskutiert wird, pendelt zwischen dem Respekt für ihre begrifflichen Grundlagen und einem Anflug von Skepsis hinsichtlich der Kluft zwischen hohen Zielen und Willkür bei der Auswahl der vorherigen Verteilung oder schließlich der Verwendung von frequentistischer Mathematik.

Sätze wie "Wenn Sie ein Hardcore-Bayesianer sind ..." gibt es zuhauf.

Die Frage ist: Wer sind heute die Bayesianer? Sind es ausgewählte akademische Einrichtungen, in denen Sie wissen, dass Sie Bayesianer werden, wenn Sie dorthin gehen? Wenn ja, sind sie besonders gefragt? Beziehen wir uns nur auf ein paar angesehene Statistiker und Mathematiker, und wenn ja, wer sind sie?

Gibt es sie überhaupt als solche, diese reinen "Bayesianer"? Würden sie das Etikett gerne annehmen? Ist es immer eine schmeichelhafte Unterscheidung? Sind es Mathematiker mit besonderen Folien in Besprechungen, denen Werte und Konfidenzintervalle entzogen sind, die in der Broschüre leicht zu erkennen sind?$p$

Wie viel von einer Nische ist es, ein "Bayesianer" zu sein? Beziehen wir uns auf eine Minderheit von Statistikern?

Oder wird der aktuelle Bayesianismus mit Anwendungen für maschinelles Lernen gleichgesetzt?

... Oder noch wahrscheinlicher: Ist die Bayes'sche Statistik weniger ein Zweig der Statistik als vielmehr eine erkenntnistheoretische Bewegung, die den Bereich der Wahrscheinlichkeitsberechnung in eine Wissenschaftsphilosophie überführt? In dieser Hinsicht wären alle Wissenschaftler im Herzen Bayesianer ... aber es gäbe keinen reinen Bayesianer, der für frequentistische Techniken (oder Widersprüche) undurchlässig wäre.

Ich werde Ihre Fragen in der folgenden Reihenfolge beantworten:

Die Frage ist: Wer sind heute die Bayesianer?

Jeder, der Bayesianische Daten analysiert und sich selbst als "Bayesian" identifiziert. Genau wie ein Programmierer ist jemand, der als "Programmierer" programmiert und sich selbst identifiziert. Ein kleiner Unterschied besteht darin, dass Bayesian aus historischen Gründen ideologische Konnotationen hat, und zwar aufgrund des oft hitzigen Streits zwischen Befürwortern "frequentistischer" Wahrscheinlichkeitsinterpretationen und Befürwortern "bayesianischer" Wahrscheinlichkeitsinterpretationen.

Handelt es sich um ausgewählte akademische Einrichtungen, in denen Sie wissen, dass Sie Bayesianer werden, wenn Sie dorthin gehen?

Nein, genau wie in anderen Teilen der Statistik braucht man nur ein gutes Buch (und vielleicht einen guten Lehrer).

Wenn ja, sind sie besonders gefragt?

Die Bayes'sche Datenanalyse ist ein sehr nützliches Werkzeug für die statistische Modellierung, was meiner Meinung nach eine sehr gefragte Fähigkeit ist (auch wenn Unternehmen möglicherweise nicht speziell nach "Bayes'schen" suchen).

Beziehen wir uns nur auf ein paar angesehene Statistiker und Mathematiker, und wenn ja, wer sind sie?

Es gibt viele angesehene Statistiker, von denen ich glaube, dass sie sich Bayesianer nennen , aber das sind nicht die Bayesianer.

Gibt es sie überhaupt als solche, diese reinen "Bayesianer"?

Das ist ein bisschen wie die Frage "Gibt es diese reinen Programmierer?" Es gibt einen amüsanten Artikel mit dem Titel 46656 Varieties of Bayesians , und sicher gibt es unter "Bayesians" ein gesundes Argument in Bezug auf viele grundlegende Fragen. Genauso wie Programmierer über die Vorzüge verschiedener Programmiertechniken streiten können. (Übrigens, reine Programmierer programmieren in Haskell).

Würden sie das Etikett gerne annehmen?

Manche tun es, manche nicht. Als ich die Bayes'sche Datenanalyse entdeckte, dachte ich, es sei das beste seit geschnittenem Brot (was ich immer noch tue) und ich war froh, mich "Bayes'sch" zu nennen (nicht zuletzt, um die p-wertigen Leute in meiner Abteilung zu irritieren). Heutzutage mag ich den Begriff nicht, ich denke, er könnte die Menschen entfremden, da die Bayes'sche Datenanalyse wie eine Art Kult klingt, was es nicht ist, anstatt eine nützliche Methode in Ihrer statistischen Toolbox zu haben.

Ist es immer eine schmeichelhafte Unterscheidung?

Nee! Soweit ich weiß, wurde der Begriff "Bayesian" vom berühmten Statistiker Fisher als abfälliger Begriff eingeführt. Vorher hieß es "inverse Wahrscheinlichkeit" oder nur "Wahrscheinlichkeit".

Sind es Mathematiker mit besonderen Folien in Besprechungen, denen p-Werte und Konfidenzintervalle entzogen sind, die in der Broschüre leicht zu erkennen sind?

Nun, es gibt Konferenzen in der Bayes'schen Statistik, und ich glaube nicht, dass sie so viele p-Werte enthalten. Ob Sie die Folien als besonders empfinden, hängt von Ihrem Hintergrund ab ...

Wie viel von einer Nische ist es, ein "Bayesianer" zu sein? Beziehen wir uns auf eine Minderheit von Statistikern?

Ich denke immer noch, dass sich eine Minderheit der Statistiker mit Bayes-Statistiken befasst, aber ich denke auch, dass der Anteil wächst.

Oder wird der aktuelle Bayesianismus mit Anwendungen für maschinelles Lernen gleichgesetzt?

Nein, aber Bayes'sche Modelle werden häufig beim maschinellen Lernen verwendet. Hier ist ein großartiges Buch zum maschinellen Lernen, das maschinelles Lernen aus einer bayesianischen / probibalistischen Perspektive präsentiert: http://www.cs.ubc.ca/~murphyk/MLbook/

Hoffe, dass die meisten Fragen beantwortet :)

Aktualisieren:

[C] Könnten Sie bitte eine Liste spezifischer Techniken oder Prämissen hinzufügen, die die Bayes'schen Statistiken unterscheiden?

Was die Bayes'sche Statistik auszeichnet, ist die Verwendung von Bayes'schen Modellen :) Hier ist meine Vorstellung davon, was ein Bayes'sches Modell ist :

Ein Bayes'sches Modell ist ein statistisches Modell, bei dem Sie die Wahrscheinlichkeit verwenden, um alle Unsicherheiten innerhalb des Modells darzustellen, sowohl die Unsicherheit in Bezug auf die Ausgabe als auch die Unsicherheit in Bezug auf die Eingabe (auch als Parameter bezeichnet) in das Modell. Darauf folgt der ganze Satz von Prior / Posterior / Bayes, aber meiner Meinung nach macht es die Verwendung der Wahrscheinlichkeit für alles zum Bayesian (und in der Tat wäre ein besseres Wort vielleicht nur so etwas wie ein probabilistisches Modell).

Nun können Bayes'sche Modelle schwierig zu passen sein , und es gibt eine Vielzahl verschiedener Computertechniken, die hierfür verwendet werden. Aber diese Techniken sind an sich nicht bayesianisch . So benennen Sie einige Computertechniken:

• Markov-Kette Monte Carlo
  • Metropolis-Hastings
  • Gibbs Probenahme
  • Hamiltonian Monte Carlo
• Variations-Bayes
• Ungefähre Bayes'sche Berechnung
• Partikelfilter
• Laplace-Approximation
• Und so weiter...

Wer war der berühmte Statistiker, der den Begriff "Bayesian" als abwertend einführte?

Es war angeblich Ronald Fisher. Die Zeitung Wann wurde die Bayes'sche Folgerung "Bayes'sch"? gibt die Geschichte des Begriffs "Bayesian".

Bayesianer sind Menschen, die Wahrscheinlichkeiten als numerische Repräsentation der Plausibilität eines Satzes definieren. Frequentisten sind Menschen, die Wahrscheinlichkeiten als Darstellung von Langzeitfrequenzen definieren. Wenn Sie nur mit der einen oder anderen dieser Definitionen zufrieden sind, sind Sie entweder Bayesianer oder Frequentist. Wenn Sie mit beiden zufrieden sind und die für die jeweilige Aufgabe am besten geeignete Definition verwenden, sind Sie ein Statistiker! ; o) Grundsätzlich läuft es auf die Definition einer Wahrscheinlichkeit hinaus, und ich hoffe, dass die meisten arbeitenden Statistiker die Vor- und Nachteile beider Ansätze erkennen können.

ein Hauch von Skepsis in Bezug auf die Kluft zwischen hohen Zielen und Willkür bei der Auswahl der vorherigen Verteilung oder letztendlich der Verwendung von frequentistischer Mathematik.

Die Skepsis geht auch in die andere Richtung. Der Frequentismus wurde mit dem hohen Ziel erfunden, die Subjektivität bestehender Überlegungen zu Wahrscheinlichkeit und Statistik zu beseitigen. Die Subjektivität ist jedoch immer noch vorhanden (zum Beispiel bei der Bestimmung des geeigneten Signifikanzniveaus beim Testen von Hypothesen), wird jedoch nur nicht explizit angegeben oder häufig einfach ignoriert .

Andrew Gelman , zum Beispiel Professor für Statistik und Politikwissenschaft an der Columbia University, ist ein bekannter Bayesianer.

Ich vermute, die meisten ISBA-Stipendiaten würden sich wahrscheinlich auch als Bayesianer betrachten.

Im Allgemeinen spiegeln die folgenden Forschungsthemen einen Bayes'schen Ansatz wider. Wenn Sie Artikel darüber lesen, würden sich die Autoren wahrscheinlich selbst als "Bayesianer" bezeichnen.

• Markov-Kette Monte Carlo
• Variationelle Bayes'sche Methoden (der Name verrät es)
• Partikelfilterung
• Probabilistische Programmierung

Heute sind wir alle Bayesianer , aber es gibt eine Welt jenseits dieser beiden Lager: algorithmische Wahrscheinlichkeit. Ich bin mir nicht sicher, was die Standardreferenz zu diesem Thema ist, aber es gibt diesen schönen Artikel von Kolmogorov über algorithmische Komplexität: AN Kolmogorov, Drei Ansätze zur Definition des Begriffs „Informationsmenge“ , Probl. Peredachi Inf., 1965, Band 1, Ausgabe 1, 3–11. Ich bin sicher, dass es eine englische Übersetzung gibt.

In dieser Arbeit definiert er die Informationsmenge auf drei Arten: kombinatorisch, probabilistisch und (neu) algorithmisch. Kombinatorische Karten direkt auf Frequentist, Probabilist entspricht nicht direkt Bayesian, aber es ist kompatibel mit ihm.

UPDATE: Wenn Sie sich für die Philosophie der Wahrscheinlichkeit interessieren, dann möchte ich auf ein sehr interessantes Werk verweisen: " Die Ursprünge und das Erbe von Kolmogorovs Grundbegriffe"von Glenn Shafer und Vladimir Vovk. Wir haben sozusagen alles vor Kolmogorov vergessen, und vor seiner bahnbrechenden Arbeit war viel los. Andererseits wissen wir nicht viel über seine philosophischen Ansichten. Es wird allgemein angenommen, dass er es war Zum Beispiel ein Frequentist. Die Realität ist, dass er 1930 in der Sowjetunion lebte, wo es ziemlich gefährlich war, sich in die Philosophie zu wagen Ich glaube, er war in Wirklichkeit nicht nur ein Mathematiker, sondern ein Wissenschaftler und hatte eine komplexe Sicht auf die Anwendbarkeit der Wahrscheinlichkeitstheorie auf die Realität.

Es gibt auch eine andere Veröffentlichung von Vovk über Kolmogorovs algorithmischen Ansatz zur Zufälligkeit: Kolmogorovs Beiträge zu den Grundlagen der Wahrscheinlichkeit

Vovk hat einen spieltheoretischen Ansatz für Wahrscheinlichkeiten entwickelt - ebenfalls sehr interessant.

$P(B|E)$$B$$E$$P(E|B)$

UPDATE 3:

Ich wollte auch auf etwas in Kolmogorovs Originalwerk hinweisen, das den Praktizierenden aus irgendeinem Grund (oder leicht vergessen) nicht bekannt ist. Er hatte einen Abschnitt über das Verbinden der Theorie mit der Realität. Insbesondere legte er zwei Bedingungen für die Verwendung der Theorie fest:

• A. Wenn Sie das Experiment viele Male wiederholen, weicht die Häufigkeit des Auftretens mit ziemlicher Sicherheit nur geringfügig von der Wahrscheinlichkeit ab
• B. Wenn die Wahrscheinlichkeit sehr gering ist, können Sie praktisch sicher sein, dass das Ereignis nicht eintritt, wenn Sie das Experiment nur einmal durchführen

Es gibt unterschiedliche Interpretationen dieser Zustände, aber die meisten Leute würden zustimmen, dass dies nicht die Ansichten des reinen Frequentisten sind. Kolmogorov erklärte, dass er in gewissem Maße von Mises 'Ansatz folge, aber er schien darauf hinzuweisen, dass die Dinge nicht so einfach seien, wie es scheinen mag. Ich denke oft an Zustand B und kann nicht zu einem stabilen Ergebnis kommen. Es sieht jedes Mal ein wenig anders aus, wenn ich darüber nachdenke.

Der "hard core" Bayesian, den ich kenne, ist Edwin Jaynes , der 1998 verstorben ist. Ich würde erwarten, dass unter seinen Schülern weitere "hard core" Bayesianer zu finden sind, insbesondere der posthume Mitautor seines Hauptwerkes Probability Theory: The Logik der Wissenschaft , Larry Bretthorst. Andere bemerkenswerte historische Bayesianer sind Harold Jeffreys und Leonard Savage . Obwohl ich keinen vollständigen Überblick über das Gebiet habe, habe ich den Eindruck, dass die neuere Popularität der Bayes'schen Methoden (insbesondere beim maschinellen Lernen) nicht auf einer tiefen philosophischen Überzeugung beruht, sondern auf der pragmatischen Position, dass sich die Bayes'schen Methoden in vielen Fällen als nützlich erwiesen haben anwendungen. Ich denke, typisch für diese Position ist Andrew Gelman .

Ich weiß nicht, wer die Bayesianer sind (obwohl ich denke, dass ich dafür eine vorherige Verteilung haben sollte), aber ich weiß, wer sie nicht sind.

Um den bedeutenden, inzwischen verstorbenen Bayesianer DV Lindley zu zitieren: "Es gibt keinen geringeren Bayesianer als einen empirischen Bayesianer". Empirische Bayes-Sektion der Bayes'schen Methoden: Ein sozial- und verhaltenswissenschaftlicher Ansatz, 2. Auflage von Jeff Gill . Das heißt, ich nehme an, dass sogar "Frequentisten" darüber nachdenken, welches Modell Sinn macht (die Wahl einer Modellform setzt in gewissem Sinne einen Prior voraus), im Gegensatz zu empirischen Bayesianern, die in allem total mechanisch sind.

Ich denke, dass es in der Praxis keinen so großen Unterschied zwischen den Ergebnissen statistischer Analysen gibt, die von Bayesianern und Frequentisten der Spitzenklasse durchgeführt wurden. Was beängstigend ist, ist, wenn Sie einen minderwertigen Statistiker sehen, der versucht, sich selbst streng nach seinem ideologischen Vorbild mit absoluter ideologischer Reinheit zu strukturieren (und die Analyse genau so durchzuführen, wie er es für sein Vorbild hält, aber ohne das Denk- und Urteilsqualität, die das Vorbild hat. Das kann zu sehr schlechten Analysen und Empfehlungen führen. Ich denke, ultraharte Kernideologen von geringer Qualität sind bei Bayesianern weitaus häufiger anzutreffen als bei Frequentisten. Dies gilt insbesondere für die Entscheidungsanalyse.

Ich bin wahrscheinlich zu spät für diese Diskussion, um dies zu bemerken, aber ich denke, es ist eine Schande, dass niemand darauf hingewiesen hat, dass der wichtigste Unterschied zwischen Bayesianischen und Frequentistischen Ansätzen darin besteht, dass die Bayesianer (meistens) Methoden anwenden Dies respektiert das Wahrscheinlichkeitsprinzip, wohingegen Frequentisten dies fast immer nicht tun. Das Wahrscheinlichkeitsprinzip besagt, dass die für den interessierenden statistischen Modellparameter relevanten Nachweise vollständig in der relevanten Wahrscheinlichkeitsfunktion enthalten sind.

Frequentisten, die sich für statistische Theorie oder Philosophie interessieren, sollten sich mehr mit Argumenten über die Gültigkeit des Wahrscheinlichkeitsprinzips befassen als mit Argumenten über die Unterscheidung zwischen Häufigkeits- und partiellen Glaubensinterpretationen von Wahrscheinlichkeit und über die Wünschbarkeit früherer Wahrscheinlichkeiten. Während es möglich ist, dass unterschiedliche Interpretationen der Wahrscheinlichkeit ohne Konflikte koexistieren und einige Menschen sich dafür entscheiden, einen Prior zu liefern, ohne dass andere dazu aufgefordert werden, verlieren viele frequentistische Methoden ihre Behauptungen, wenn das Wahrscheinlichkeitsprinzip entweder im positiven oder im normativen Sinne zutrifft zur Optimalität. Häufige Angriffe auf das Wahrscheinlichkeitsprinzip sind vehement, da dieses Prinzip ihre statistische Weltanschauung untergräbt, aber meistens verfehlen diese Angriffe ihre Marke ( http://arxiv.org/abs/1507.08394)).

Sie glauben vielleicht, dass Sie ein Bayesianer sind, aber Sie irren sich wahrscheinlich ... http://www.rmm-journal.de/downloads/Article_Senn.pdf

Bayesianer leiten die Wahrscheinlichkeitsverteilung der interessierenden Ergebnisse nach vorheriger Überzeugung / vorheriger Information ab. Für einen Bayesianer ist diese Verteilung (und ihre Zusammenfassungen) das, woran die meisten Menschen interessiert sein werden. Im Gegensatz zu typischen "frequentistischen" Ergebnissen, aus denen hervorgeht, wie wahrscheinlich es ist, dass die Ergebnisse als oder extremer als die beobachteten angesehen werden, wenn die Nullhypothese wahr ist ( p-Wert) oder Intervallschätzungen für den interessierenden Parameter, von denen 95% den wahren Wert enthalten würden, wenn Sie eine wiederholte Abtastung durchführen könnten (Konfidenzintervall).

Bayesianische Prior-Distributionen sind umstritten, weil sie IHR Prior sind. Es gibt keine "richtigen" vor. Die meisten pragmatischen Bayesianer suchen nach externen Beweisen, die für die Vorfahren verwendet werden können, und diskontieren oder modifizieren diese auf der Grundlage dessen, was für den jeweiligen Fall als "vernünftig" erwartet wird. Zum Beispiel können skeptische Vorgesetzte eine Wahrscheinlichkeitsschwankung in einem Nullfall aufweisen - "Wie gut müssten die Daten sein, damit ich meine Meinung ändere / die derzeitige Praxis ändere?" Die meisten werden sich auch mit der Robustheit von Schlussfolgerungen für verschiedene Prioritäten befassen.

Es gibt eine Gruppe von Bayesianern, die sich mit "Referenz" -Prioren befassen, die es ihnen ermöglichen, Schlussfolgerungen zu konstruieren, die nicht von früheren Überzeugungen "beeinflusst" werden, und so Wahrscheinlichkeitsaussagen und Intervallschätzungen mit "frequentistischen" Eigenschaften erhalten.

Es gibt auch eine Gruppe von "Hardcore-Bayesianern", die befürworten könnten, kein Modell auszuwählen (alle Modelle sind falsch), und die argumentieren könnten, dass explorative Analysen zwangsläufig Ihre Vorgesetzten beeinflussen und daher nicht durchgeführt werden sollten. Es gibt nur wenige, die so radikal sind ...

In den meisten Bereichen der Statistik finden Sie Bayesianische Analysen und Praktiker. Genau wie Sie einige Leute finden, die Nicht-Parametrik bevorzugen ...

Um auf Ihre letzte Frage (ich bin also nicht hinter einem Preis her!) Nach einem Zusammenhang zwischen einem bayesianischen / frequentistischen Ansatz und der eigenen erkenntnistheoretischen Position einzugehen, ist Deborah Mayo die interessanteste Autorin, auf die ich gestoßen bin. Ein guter Ausgangspunkt ist dieser Austausch 2010 zwischen Mayo und Andrew Gelman (der sich hier als etwas ketzerischer Bayesianer herausstellt). Mayo veröffentlichte später eine detaillierte Antwort auf die Gelman & Shalizi Papier hier .

Eine Untermenge aller Bayesianer, dh der Bayesianer, die sich die Mühe gemacht haben, eine E-Mail zu senden, ist hier aufgelistet .

Ich würde Bruno de Finetti und LJ Savage Bayesians anrufen. Sie arbeiteten an den philosophischen Grundlagen.

Für das Verständnis der grundlegenden Debatte zwischen Frequentisten und Bayesianern ist es schwierig, eine maßgeblichere Stimme als Bradley Efron zu finden.

Dieses Thema hat er in seiner Karriere bereits mehrfach angesprochen , aber ich persönlich fand eine seiner älteren Arbeiten hilfreich: Kontroversen in den Grundlagen der Statistik (diese wurde für ihre herausragenden Leistungen ausgezeichnet).