Bayesianisches und frequentistisches Denken im Klartext

339

Wie würden Sie im Klartext die Merkmale beschreiben, die das Bayes'sche vom frequentistischen Denken unterscheiden?

Daniel Vassallo
quelle
Diese Frage zum Ziehen von Schlussfolgerungen über einen einzelnen Bowl-Spieler, wenn Sie zwei Datensätze haben - die Ergebnisse anderer Spieler und die Ergebnisse des neuen Spielers - ist ein gutes spontanes Beispiel für den Unterschied, den meine Antwort im Klartext anzusprechen versucht.
Peter Ellis
4
Vielleicht können einige von Ihnen, gute Leute, auch eine Antwort auf eine Frage über Bayes'sche und frequentistische Interpretationen liefern, die unter philosophy.stackexchange.com gestellt wird .
Drux

Antworten:

198

So würde ich meiner Oma den grundsätzlichen Unterschied erklären:

Ich habe mein Telefon irgendwo zu Hause verlegt. Ich kann den Telefonfinder an der Basis des Instruments verwenden, um das Telefon zu lokalisieren. Wenn ich auf den Telefonfinder drücke, ertönt ein Piepton.

Problem: In welchem ​​Bereich meines Hauses soll ich suchen?

Frequentistisches Denken

Ich kann das Telefon piepen hören. Ich habe auch ein mentales Modell, das mir hilft, den Bereich zu identifizieren, aus dem der Ton kommt. Daher muss ich nach dem Signalton den Bereich meines Zuhauses suchen, um das Telefon zu lokalisieren.

Bayesianisches Denken

Ich kann das Telefon piepen hören. Abgesehen von einem mentalen Modell, das mir hilft, den Bereich zu identifizieren, von dem der Ton kommt, kenne ich jetzt auch die Orte, an denen ich das Telefon in der Vergangenheit verlegt habe. Daher kombiniere ich meine Schlussfolgerungen mithilfe der Signaltöne und meiner vorherigen Informationen zu den Orten, an denen ich das Telefon in der Vergangenheit verlegt habe, um einen Bereich zu identifizieren, in dem ich suchen muss, um das Telefon zu finden.

Fadenscheinig
quelle
11
Ich mag die Analogie. Ich würde es sehr nützlich finden, wenn es eine definierte Frage gäbe (basierend auf einem Datensatz), bei der eine Antwort unter Verwendung von häufigem Denken und eine Antwort unter Verwendung von Bayesian abgeleitet wurde - vorzugsweise mit R-Skript, um beide Argumente zu behandeln. Frage ich zu viel
Farrel
15
Das Einfachste, was ich mir vorstellen kann, ist, n-mal eine Münze zu werfen und die Wahrscheinlichkeit eines Kopfes abzuschätzen (mit p zu bezeichnen). Angenommen, wir beobachten k Köpfe. Dann ist die Wahrscheinlichkeit, k Köpfe zu erhalten, wie folgt: P (k Köpfe in n Versuchen) = (n, k) p ^ k (1-p) ^ (nk) Häufigkeitsinferenz würde das Obige maximieren, um zu einer Schätzung von p = k zu gelangen / n. Bayesian würde sagen: Hey, ich weiß, dass p ~ Beta (1,1) (was der Annahme entspricht, dass p auf [0,1] einheitlich ist). Die aktualisierte Folgerung wäre also: p ~ Beta (1 + k, 1 + nk) und somit wäre die Bayes'sche Schätzung von p p = 1 + k / (2 + n). Ich kenne R nicht, sorry.
41
Es sollte darauf hingewiesen werden, dass es aus Sicht der Frequentisten keinen Grund gibt, das Vorwissen nicht in das Modell zu integrieren. In diesem Sinne ist die frequentistische Ansicht einfacher, Sie haben nur ein Modell und einige Daten. Es ist nicht erforderlich, die vorherigen Informationen vom Modell zu trennen.
Robby McKilliam
1
@ user28 Wenn als Kommentar zu Ihrem Kommentar , würde der Frequentist (bzw. ) schätzen , wenn er ein Ergebnis von Köpfen (bzw. Köpfen) sieht , dh die Münze ist zweiköpfig oder zweischwänzig. Die Bayes'schen Schätzungen bzw. lassen die Möglichkeit zu, dass es sich um eine etwas weniger voreingenommene Münze handelt. p = 0 p = 1 k = 0 k = 3 1 / 5 4 / 5n=3p=0p=1k=0k=31/54/5
Dilip Sarwate
3
@ BYS2 Die Programmiersprache mit dem Namen R.
user1205901
103

Zunge fest in der Wange:

Ein Bayesianer definiert eine "Wahrscheinlichkeit" genauso wie die meisten Nicht-Statistiker - nämlich als Hinweis auf die Plausibilität eines Satzes oder einer Situation. Wenn Sie ihm eine Frage stellen, gibt er Ihnen eine direkte Antwort, indem er Wahrscheinlichkeiten zuordnet, die die Plausibilität der möglichen Ergebnisse für die jeweilige Situation beschreiben (und seine vorherigen Annahmen angeben).

Ein Frequentist ist jemand, der glaubt, dass Wahrscheinlichkeiten langfristige Häufigkeiten darstellen, mit denen Ereignisse auftreten. Wenn nötig, wird er eine fiktive Population erfinden, aus der Ihre spezielle Situation als Zufallsstichprobe angesehen werden kann, damit er sinnvoll über langfristige Häufigkeiten sprechen kann. Wenn Sie ihm eine Frage zu einer bestimmten Situation stellen, gibt er keine direkte Antwort, sondern macht eine Aussage zu dieser (möglicherweise imaginären) Population. Viele nicht-frequentistische Statistiker werden durch die Antwort leicht verwirrt und interpretieren sie als Bayes'sche Wahrscheinlichkeit für die jeweilige Situation.

Es ist jedoch wichtig anzumerken, dass die meisten Frequentist-Methoden ein Bayes'sches Äquivalent haben, das in den meisten Fällen im Wesentlichen das gleiche Ergebnis liefert. Der Unterschied ist größtenteils eine Angelegenheit der Philosophie und in der Praxis eine Angelegenheit von "Pferden für Kurse".

Wie Sie vielleicht erraten haben, bin ich Bayesianer und Ingenieur. ;O)

Dikran Beuteltier
quelle
36
Als Nicht-Experte denke ich, dass der Schlüssel zur gesamten Debatte darin liegt, dass die Menschen tatsächlich wie Bayesianer argumentieren. Sie müssen geschult sein, um wie ein Frequentist zu denken, und selbst dann ist es leicht, sich zu irren und Ihre Argumentation zu begründen oder zu präsentieren, als wäre sie bayesianisch. "Es besteht eine Wahrscheinlichkeit von 95%, dass der Wert innerhalb dieses Konfidenzintervalls liegt." Genug gesagt.
Wayne
8
Der Schlüssel ist auch zu überlegen, welche Art von Lobbying die Statistiken des 20. Jahrhunderts als "klassisch" bezeichnen, während die Statistiken, die Laplace und Gauss im 19. Jahrhundert zu verwenden begannen, nicht ...
gwr 16.11.15
3
Vielleicht habe ich schon zu lange häufig gearbeitet, aber ich bin mir nicht sicher, ob der Bayes'sche Standpunkt immer intuitiv ist. Angenommen, ich interessiere mich für einen relevanten Parameter der realen Welt, z. B. die durchschnittliche Größe einer Population. Wenn ich Ihnen sage, "dass der interessierende Parameter in meinem glaubwürdigen Intervall mit einer Wahrscheinlichkeit von 95% liegt", und dann die Frage "Wenn wir 100 solcher Intervalle für verschiedene Parameter erstellt haben, welchen Anteil davon würden wir erwarten, zu enthalten die wahren Werte des Parameters? ", die Tatsache, dass die Antwort nicht 95 ist, muss für manche Leute verwirrend sein.
Cliff AB
4
@CliffAB aber warum würdest du die zweite Frage stellen? Der Punkt ist, dass es sich um unterschiedliche Fragen handelt. Es ist also nicht überraschend, dass sie unterschiedliche Antworten haben. Der Baysianer kann beide Fragen beantworten, aber die Antwort kann unterschiedlich sein (was mir vernünftig erscheint). Der Frequentist kann nur eine der Fragen beantworten (aufgrund der restriktiven Definition der Wahrscheinlichkeit) und verwendet daher (implizit) dieselbe Antwort für beide Fragen, was die Probleme verursacht. Ein glaubwürdiges Intervall ist kein Konfidenzintervall, aber ein Bayesianer kann sowohl ein glaubwürdiges Intervall als auch ein Konfidenzintervall konstruieren .
Dikran Beuteltier
4
Mein Kommentar war eine Antwort auf Waynes; die Idee, dass Menschen "natürlich" in einem Bayes'schen Kontext denken, da es einfacher ist, ein glaubwürdiges Intervall zu interpretieren. Mein Punkt ist, dass es zwar einfacher ist, die richtige Interpretation eines glaubwürdigen Intervalls (dh weniger einer Wortsuppe) zu konstruieren, aber ich denke, dass der Nicht-Statistiker genauso verwirrt ist, was das wirklich bedeutet.
Cliff AB
63

Sehr grob würde ich sagen:

Frequentist: Das Sampling ist unendlich und die Entscheidungsregeln können scharf sein. Daten sind wiederholbare Zufallsstichproben - es gibt eine Häufigkeit. Die zugrunde liegenden Parameter sind fest, dh sie bleiben während dieses wiederholbaren Abtastvorgangs konstant.

Bayesian: Unbekannte Größen werden probabilistisch behandelt und der Zustand der Welt kann jederzeit aktualisiert werden. Daten werden von der realisierten Probe beobachtet. Parameter sind unbekannt und probabilistisch beschrieben. Es sind die Daten, die feststehen.

Es gibt einen brillanten Blog-Beitrag, der ein detailliertes Beispiel dafür gibt, wie ein Bayesianer und ein Frequentist dasselbe Problem angehen würden. Warum nicht das Problem selbst beantworten und dann prüfen?

Das Problem (aus dem Blog von Panos Ipeirotis):

Sie haben eine Münze, die, wenn sie geworfen wird, mit Wahrscheinlichkeit p den Kopf und mit Wahrscheinlichkeit 1-p den Schwanz erreicht. (Der Wert von p ist unbekannt.)

Beim Versuch, p abzuschätzen, wirfst du die Münze 100 Mal. Es endet 71-mal mit dem Kopf.

Dann muss man sich für folgendes Ereignis entscheiden: "In den nächsten zwei Würfen werden wir zwei Köpfe hintereinander bekommen."

Würdest du wetten, dass das Ereignis eintreten wird oder dass es nicht eintreten wird?

Graham Cookson
quelle
5
Da , würde ich dies als nahe genug an einer geraden Wette betrachten, um bereit zu sein, nur zum Spaß bescheiden in beide Richtungen zu gehen (und irgendwelche Probleme über die Form des vorherigen zu ignorieren). Ich kaufe manchmal Versicherungen und Lottoscheine mit weitaus schlechteren Chancen. 0.712=0.5041
Henry
5
Am Ende dieses Blogposts steht: "Anstatt die einheitliche Verteilung als Prior zu verwenden, können wir sogar noch agnostischer sein. In diesem Fall können wir die Beta (0,0) -Verteilung als Prior verwenden. Eine solche Verteilung entspricht für den Fall, dass jeder Mittelwert der Verteilung gleich wahrscheinlich ist. In diesem Fall liefern die beiden Ansätze Bayesian und Frequentist die gleichen Ergebnisse. " welche Art von fasst es wirklich!
tdc
13
Das große Problem bei diesem Blog-Beitrag ist, dass es nicht ausreichend charakterisiert, was ein nicht-bayesianischer (aber rationaler) Entscheidungsträger tun würde. Es ist kaum mehr als ein Strohmann.
whuber
1
@tdc: Der Bayesianische (Jeffreys) Prior ist Beta (0,5, 0,5) und einige würden sagen, dass dies der einzig vertretbare Prior ist.
Neil G
1
@mcb - genau.
Digitgopher
42

Nehmen wir an, ein Mann würfelt mit einem sechsseitigen Würfel und hat die Ergebnisse 1, 2, 3, 4, 5 oder 6. Außerdem sagt er, wenn er auf einer 3 landet, gibt er Ihnen ein kostenloses Lehrbuch.

Dann informell:

Der Frequentist würde sagen, dass jedes Ergebnis eine Chance von 1 zu 6 hat. Sie betrachtet die Wahrscheinlichkeit als aus langfristigen Häufigkeitsverteilungen abgeleitet.

Der Bayesianer würde jedoch sagen: Moment mal, ich kenne diesen Mann, er ist David Blaine, ein berühmter Trickster! Ich habe das Gefühl, er hat etwas vor. Ich werde sagen, dass es nur eine 1% ige Chance gibt, auf einer 3 zu landen, ABER ich werde dieses Vertrauen neu bewerten und es ändern, je öfter er würfelt. Wenn ich sehe, dass die anderen Zahlen gleich oft auftauchen, erhöhe ich iterativ die Chance von 1% auf etwas etwas Höheres, ansonsten werde ich sie noch weiter reduzieren. Sie sieht Wahrscheinlichkeit als Grad des Glaubens an einen Satz.

Tony Breyal
quelle
24
Ich denke, der Frequentist würde (wörtlich) auf seine Vermutungen hinweisen und keine nützlichen Vorhersagen treffen. Vielleicht würde er sagen: "Wenn der Würfel fair ist, hat jedes Ergebnis eine Chance von 1 zu 6. Wenn die Würfelwürfe fair sind und David Blaine den Würfel 17 Mal würfelt, gibt es nur eine Chance von 5%, dass es wird niemals auf 3 landen, daher würde ein solches Ergebnis mich bezweifeln lassen, dass der Würfel fair ist. "
Thomas Levine
Wäre "Wahrscheinlichkeit" (wie bei MLE) die "Wahrscheinlichkeit" des Frequentisten?
Akababa
40

Nur ein bisschen Spaß ...

Ein Bayesianer ist einer, der vage ein Pferd erwartet und einen Blick auf einen Esel erhascht, der fest davon überzeugt ist, ein Maultier gesehen zu haben.

Von dieser Seite:

http://www2.isye.gatech.edu/~brani/isyebayes/jokes.html

und von der gleichen Seite, ein schöner Aufsatz ...

"Eine intuitive Erklärung von Bayes 'Theorem"

http://yudkowsky.net/rational/bayes

Brett
quelle
14
In diesem Fall wäre der Frequentist nicht derjenige, der das Verhältnis von Esel-, Maultier- und Pferdepopulationen kennt und bei Beobachtung einer Maultierpackung den p-Wert berechnet, um festzustellen, ob es einen statistisch signifikanten Anstieg gegeben hat im Populationsverhältnis der Maultiere.
Andrew
30

Der Bayesianer wird gebeten, Einsätze zu machen. Dazu kann alles gehören, von dem aus die Fliege schneller an die Wand kriecht, bis zu welcher Medizin die meisten Leben gerettet werden oder welche Gefangenen ins Gefängnis müssen. Er hat eine große Kiste mit einem Griff. Er weiß, dass, wenn er absolut alles, was er weiß, einschließlich seiner persönlichen Meinung in die Kiste steckt und den Griff dreht, dies die bestmögliche Entscheidung für ihn ist.

Der Frequentist wird gebeten, Berichte zu schreiben. Er hat ein großes schwarzes Regelwerk. Wenn die Situation, über die er einen Bericht erstellen soll, in seinem Regelwerk behandelt wird, kann er die Regeln befolgen und einen Bericht schreiben, der so sorgfältig formuliert ist, dass er im schlimmsten Fall einmal in 100 (oder einmal in 20 oder einmal) falsch ist Zeit in was auch immer die Spezifikation für seinen Bericht sagt).

Der Frequentist weiß (weil er Berichte darüber geschrieben hat), dass der Bayesianer manchmal Wetten abschließt, die im schlimmsten Fall, wenn seine persönliche Meinung falsch ist, schlecht ausfallen könnten. Der Frequentist weiß auch (aus dem gleichen Grund), dass er auf lange Sicht verlieren wird, wenn er jedes Mal gegen den Bayesianer setzt, wenn er sich von ihm unterscheidet.

mcdowella
quelle
"Auf lange Sicht wird er verlieren" ist zweideutig. Ich nehme an, "er" ist der Bayesianer hier? Würden sie es nicht auf lange Sicht schaffen - der Bayesianer könnte seine persönliche Meinung lernen und ändern, bis sie den tatsächlichen (aber unbekannten) Tatsachen entspricht.
Lucidbrot
26

Im Klartext würde ich sagen, dass Bayesianisches und Frequentistisches Denken sich durch zwei verschiedene Arten der Beantwortung der Frage unterscheiden:

Was ist wahrscheinlichkeit

Die meisten Unterschiede werden sich im Wesentlichen darauf beschränken, wie jede Frage beantwortet wird, da dies im Grunde den Bereich gültiger Anwendungen der Theorie definiert. Jetzt können Sie keine der beiden Antworten in "normalem Englisch" geben, ohne weitere Fragen zu generieren. Für mich ist die Antwort (wie Sie wahrscheinlich erraten könnten)

Wahrscheinlichkeit ist Logik

10. Zusätzlich kann die Wahrscheinlichkeitsrechnung aus der Satzrechnung abgeleitet werden. Dies entspricht der "Bayes'schen" Argumentation am ehesten - obwohl es auch die Bayes'sche Argumentation in Anwendungen erweitert, indem es Prinzipien zum Zuweisen von Wahrscheinlichkeiten sowie Prinzipien zum Manipulieren derselben bereitstellt. Dies führt natürlich zu der folgenden Frage: "Was ist Logik?" Für mich ist das Nächste, was ich als Antwort auf diese Frage geben könnte, "Logik ist die vernünftige Beurteilung einer rationalen Person mit einem gegebenen Satz von Annahmen" (was ist eine vernünftige Person? etc. etc.). Logik hat alle die gleichen Eigenschaften, die Bayesianisches Denken hat. Zum Beispiel sagt Ihnen die Logik nicht, was Sie annehmen sollen oder was "absolut wahr" ist. Hier erfahren Sie nur, in welcher Beziehung die Wahrheit eines Satzes zur Wahrheit eines anderen steht. Sie müssen immer ein logisches System mit "Axiomen" bereitstellen, um mit den Schlussfolgerungen beginnen zu können. Sie haben auch die gleichen Einschränkungen, da Sie willkürliche Ergebnisse aus widersprüchlichen Axiomen erhalten können. Aber "Axiome" sind nichts anderes als vorherige Wahrscheinlichkeiten, auf die gesetzt wurde1

Für das frequentistische Denken haben wir die Antwort:

Wahrscheinlichkeit ist Frequenz

obwohl ich nicht sicher bin, ob "frequency" ein einfacher englischer Begriff ist, wie er hier verwendet wird - vielleicht ist "proportion" ein besseres Wort. Ich wollte in die häufig gestellte Antwort hinzufügen, dass die Wahrscheinlichkeit eines Ereignisses als eine reale, messbare (beobachtbare?) Größe angesehen wird, die unabhängig von der Person / dem Objekt existiert, die / das es berechnet. Aber ich konnte das nicht auf eine "einfache englische" Weise tun.

Vielleicht könnte eine "einfache englische" Version eines der Unterschiede sein, dass das frequentistische Denken ein Versuch ist, aus "absoluten" Wahrscheinlichkeiten zu schließen, während das bayesianische Denken ein Versuch ist, aus "relativen" Wahrscheinlichkeiten zu schließen.

Ein weiterer Unterschied besteht darin, dass die Grundlagen der Frequentisten vager sind, wie Sie das Problem der realen Welt in die abstrakte Mathematik der Theorie übersetzen. Ein gutes Beispiel ist die Verwendung von "Zufallsvariablen" in der Theorie - sie haben eine genaue Definition in der abstrakten Welt der Mathematik, aber es gibt kein eindeutiges Verfahren, mit dem man entscheiden kann, ob eine beobachtete Größe ein Zufall ist oder nicht Variable".

Die bayesianische Argumentationsweise, der Begriff einer "Zufallsvariablen", ist nicht notwendig. Eine Wahrscheinlichkeitsverteilung wird einer Größe zugeordnet, weil sie unbekannt ist. Dies bedeutet, dass sie nicht logisch aus den uns vorliegenden Informationen abgeleitet werden kann. Dies stellt sofort einen einfachen Zusammenhang zwischen der beobachtbaren Größe und der Theorie her - da "Unbekanntsein" eindeutig ist.

Sie können im obigen Beispiel auch einen weiteren Unterschied zwischen diesen beiden Denkweisen sehen - "zufällig" und "unbekannt". "Zufälligkeit" ist so formuliert, dass die "Zufälligkeit" wie eine Eigenschaft der tatsächlichen Menge zu sein scheint. Umgekehrt hängt "Unbekannt sein" davon ab, welche Person Sie nach dieser Menge fragen - daher ist es eine Eigenschaft des Statistikers, der die Analyse durchführt. Dies führt zu den "objektiven" gegenüber "subjektiven" Adjektiven, die häufig mit jeder Theorie verbunden sind. Es ist leicht zu zeigen, dass "Zufälligkeit" nicht eine Eigenschaft einiger Standardbeispiele sein kann, indem einfach zwei Frequentisten, die unterschiedliche Informationen über dieselbe Menge erhalten, gebeten werden, zu entscheiden, ob sie "zufällig" sind. Eine ist die übliche Bernoulli-Urne: Frequentist 1 hat beim Zeichnen die Augen verbunden, während frequentist 2 über der urne steht und frequentist 1 beobachtet, wie er die kugeln aus der urne zieht. Wenn die Erklärung der "Zufälligkeit" eine Eigenschaft der Kugeln in der Urne ist, kann sie nicht von den unterschiedlichen Kenntnissen der Frequentisten 1 und 2 abhängen - und daher sollten die beiden Frequentisten die gleiche Erklärung der "Zufälligkeit" oder der "Nicht-Zufälligkeit" abgeben. .

Wahrscheinlichkeitslogik
quelle
3
Es würde mich interessieren, ob Sie dies ohne Verweis auf gesunden Menschenverstand umschreiben könnten.
Peter Ellis
@PeterEllis - Was ist mit gesundem Menschenverstand falsch? Wir alle haben es, und es ist normalerweise dumm, es nicht zu benutzen ...
Wahrscheinlichkeitslogik
13
Es ist zu umstritten, was es eigentlich ist, und zu kulturspezifisch. "Gesunder Menschenverstand" ist eine Abkürzung für das, was in dieser bestimmten Kultur als vernünftig empfunden wird (was für eine andere Kultur in Bezug auf Zeit und Raum allzu oft alles andere als vernünftig erscheint) . Es ist besonders wenig hilfreich als Teil einer Definition von Logik (und daher, so würde ich argumentieren, ist das Konzept einer "rationalen Person" in diesem speziellen Kontext - zumal ich vermute, dass Ihre Definition einer "rationalen Person" eine logische Person wäre Wer hat gesunden Menschenverstand!)
Peter Ellis
4
Er kann keine angeben, er argumentiert, dass es keine universelle Definition gibt , nur kulturspezifische. Zwei Personen mit unterschiedlichem kulturellem Hintergrund (und das schließt unterschiedliche Stile der statistischen Ausbildung ein) werden möglicherweise zwei unterschiedliche Auffassungen darüber haben, was in einer bestimmten Situation sinnvoll ist.
Naught101
2
Diese Antwort hat Nuggets von Güte (wie ist das für einfaches Englisch?), Aber ich glaube nicht (wie ist das für ein Bayesianer!), Dass die folgende Aussage wahr ist: "Denn wenn Sie Logik akzeptieren ... müssen Sie auch akzeptieren Bayesianisches Denken ". Zum Beispiel, wenn Sie denken, anstatt die abstrakte Theorie der Mathematik in die reale Welt zu übersetzen, werden Sie feststellen, dass der axiomatische Ansatz sowohl mit dem frequentistischen als auch mit dem bayesianischen Denken vereinbar sein kann! Wohl Kolmogorov im ersten Fall und etwa Jeffreys im zweiten. Im Wesentlichen ist es die Wahrscheinlichkeitstheorie, die Logik ist; nicht seine Interpretation.
Graeme Walsh
21

In Wirklichkeit denke ich, dass ein Großteil der Philosophie, die das Thema umgibt, einfach großartig ist. Das heißt nicht, die Debatte abzulehnen, aber es ist ein Wort der Vorsicht. Manchmal haben praktische Fragen Vorrang - ich gebe unten ein Beispiel.

Genauso gut könnte man argumentieren, dass es mehr als zwei Ansätze gibt:

  • Neyman-Pearson ("Frequentist")
  • Wahrscheinlichkeitsbasierte Ansätze
  • Voll Bayesian

Ein älterer Kollege erinnerte mich kürzlich daran, dass "viele Menschen in einer gemeinsamen Sprache über Frequentisten und Bayesianer sprechen. Ich denke, dass eine gültige Unterscheidung auf Wahrscheinlichkeit und Frequentisten beruht. Sowohl die Maximum-Likelihood- als auch die Bayesian-Methode halten sich an das Likelihood-Prinzip, während die Frequentisten-Methoden dies nicht tun. "

Ich beginne mit einem sehr einfachen praktischen Beispiel:

P(+|S)=1
P(Correct|S)=1
P(|H)=0.95
P(+|H)=0.05

Der Test ist also entweder 100% genau oder 95% genau, je nachdem, ob der Patient gesund oder krank ist. Zusammengenommen bedeutet dies, dass der Test zu mindestens 95% genau ist.

So weit, ist es gut. Das sind die Aussagen, die ein Frequentist machen würde. Diese Aussagen sind recht einfach zu verstehen und stimmen. Über eine "frequentistische Interpretation" muss man nicht waffeln.

Aber es wird interessant, wenn Sie versuchen, die Dinge umzudrehen. Was können Sie angesichts des Testergebnisses über die Gesundheit des Patienten lernen? Bei einem negativen Testergebnis ist der Patient offensichtlich gesund, da keine falsch negativen Ergebnisse vorliegen.

Wir müssen aber auch den Fall berücksichtigen, in dem der Test positiv ist. War der Test positiv, weil der Patient tatsächlich krank war, oder war er falsch positiv? Hier gehen der Frequentist und der Bayesianer auseinander. Alle werden zustimmen, dass dies derzeit nicht beantwortet werden kann. Der Frequentist wird sich weigern zu antworten. Der Bayesianer ist bereit, Ihnen eine Antwort zu geben, aber Sie müssen dem Bayesianer zuerst eine Vorabangabe machen - dh sagen, wie viel Prozent der Patienten krank sind.

Zusammenfassend sind die folgenden Aussagen wahr:

  • Für gesunde Patienten ist der Test sehr genau.
  • Für kranke Patienten ist der Test sehr genau.

Wenn Sie mit Aussagen wie diesen zufrieden sind, dann verwenden Sie frequentistische Interpretationen. Dies kann sich von Projekt zu Projekt ändern, je nachdem, auf welche Art von Problemen Sie stoßen.

Möglicherweise möchten Sie jedoch andere Aussagen treffen und die folgende Frage beantworten:

  • Wie genau ist der Test für diejenigen Patienten, die ein positives Testergebnis erhalten haben?

Dies erfordert einen vorherigen und einen bayesianischen Ansatz. Beachten Sie auch, dass dies die einzige Frage ist, die den Arzt interessiert. Der Arzt wird sagen: "Ich weiß, dass die Patienten entweder ein positives oder ein negatives Ergebnis erhalten. Ich weiß auch, dass das negative Ergebnis bedeutet, dass der Patient gesund ist und nach Hause geschickt werden kann. Die einzigen Patienten, die mich jetzt interessieren, sind die, die es bekommen." ein positives Ergebnis - sind sie krank? "

Zusammenfassend: In solchen Beispielen wird der Bayesianer mit allem übereinstimmen, was der Frequentist sagt. Aber der Bayesianer wird argumentieren, dass die Aussagen des Frequentisten, obwohl sie wahr sind, nicht sehr nützlich sind; und wird argumentieren, dass die nützlichen Fragen nur mit einer vorherigen beantwortet werden können.

Ein Frequentist wird nacheinander jeden möglichen Wert des Parameters (H oder S) prüfen und fragen: "Wenn der Parameter diesem Wert entspricht, wie hoch ist die Wahrscheinlichkeit, dass mein Test korrekt ist?"

Ein Bayesianer wird stattdessen jeden möglichen beobachteten Wert (+ oder -) der Reihe nach betrachten und fragen: "Wenn ich mir vorstelle, dass ich diesen Wert gerade beobachtet habe, was sagt mir das über die bedingte Wahrscheinlichkeit von H gegen S aus?"

Aaron McDaid
quelle
1
Meinst du, For sick patients, the test is NOT very accurate.du vergisst das NICHT?
Vorstudie
1
Es ist in beiden Fällen sehr genau, also nein, ich habe kein Wort vergessen. Bei gesunden Menschen ist das Ergebnis in 95% der Fälle korrekt (dh "negativ"). Und für kranke Menschen ist das Ergebnis in 95% der Fälle richtig (dh "positiv").
Aaron McDaid
Ich denke, die "Schwäche" der maximalen Wahrscheinlichkeit besteht darin, dass sie eine einheitliche Priorität für die Daten voraussetzt, während "voll Bayesianisch" flexibler ist, was die Priorität betrifft, die Sie auswählen können.
Joe Z.
Um das Beispiel zu vervollständigen, nehmen wir an, dass 0,1% der Bevölkerung an der Krankheit D erkrankt sind, auf die wir testen: Dies ist nicht unsere Priorität. Wahrscheinlicher ist, dass 30% der Patienten, die zum Arzt kommen und Symptome haben, die mit D übereinstimmen, tatsächlich D haben (dies kann mehr oder weniger von Details abhängen, z. B. wie oft eine andere Krankheit dieselben Symptome aufweist). 70% der Testpersonen sind also gesund, 66,5% erhalten ein negatives Ergebnis und 30% / 33,5% sind krank. Bei einem positiven Ergebnis beträgt unsere hintere Wahrscheinlichkeit, dass ein Patient krank ist, 89,6%. Nächstes Rätsel: Woher wissen wir, dass 70% der Testteilnehmer D haben?
Qwertie
7

Bayesianische und frequentistische Statistiken sind insofern vereinbar, als sie als zwei Grenzfälle für die Einschätzung der Wahrscheinlichkeit zukünftiger Ereignisse auf der Grundlage vergangener Ereignisse und eines angenommenen Modells verstanden werden können, wenn man zugibt, dass an der Grenze einer sehr großen Anzahl von Beobachtungen keine Unsicherheit darüber besteht Das System bleibt bestehen, und in diesem Sinne ist eine sehr große Anzahl von Beobachtungen gleichbedeutend mit der Kenntnis der Parameter des Modells.

Angenommen, wir haben einige Beobachtungen gemacht, z. B. das Ergebnis von 10 Münzwürfen. In der Bayes'schen Statistik gehen Sie von Ihren Beobachtungen aus und bewerten dann die Wahrscheinlichkeit zukünftiger Beobachtungen oder Modellparameter. In der frequentistischen Statistik gehen Sie von einer Idee (Hypothese) der Wahrheit aus, indem Sie Szenarien einer großen Anzahl von Beobachtungen annehmen, die gemacht wurden, z. Basierend auf diesen Szenarien einer großen Anzahl von Beobachtungen (= Hypothese) beurteilen Sie die Häufigkeit von Beobachtungen, wie Sie sie gemacht haben, dh die Häufigkeit unterschiedlicher Ergebnisse von 10 Münzwürfen. Nur dann nehmen Sie Ihr tatsächliches Ergebnis, vergleichen es mit der Häufigkeit möglicher Ergebnisse und entscheiden, ob das Ergebnis zu den Ergebnissen gehört, von denen erwartet wird, dass sie mit hoher Häufigkeit auftreten. Wenn dies der Fall ist, schließen Sie, dass die gemachte Beobachtung Ihren Szenarien nicht widerspricht (= Hypothese). Andernfalls schließen Sie, dass die gemachte Beobachtung nicht mit Ihren Szenarien kompatibel ist, und Sie lehnen die Hypothese ab.

Die Bayes'sche Statistik geht also von den Beobachtungen aus und bewertet mögliche zukünftige Ergebnisse. Frequentistische Statistiken beginnen mit einem abstrakten Experiment darüber, was beobachtet werden würde, wenn man etwas annimmt, und vergleichen dann die Ergebnisse des abstrakten Experiments mit dem, was tatsächlich beobachtet wurde. Ansonsten sind die beiden Ansätze kompatibel. Beide beurteilen die Wahrscheinlichkeit zukünftiger Beobachtungen auf der Grundlage einiger gemachter oder vermuteter Beobachtungen.

Ich fing an, dies auf eine formalere Art und Weise aufzuschreiben:

Positionierung der Bayes'schen Inferenz als besondere Anwendung der frequentistischen Inferenz und umgekehrt. figshare.

http://dx.doi.org/10.6084/m9.figshare.867707

Das Manuskript ist neu. Wenn Sie es lesen und Kommentare haben, lassen Sie es mich bitte wissen.

user36160
quelle
6

Ich würde sagen, dass sie die Wahrscheinlichkeit auf unterschiedliche Weise betrachten. Der Bayesian ist subjektiv und verwendet a priori Überzeugungen, um eine vorherige Wahrscheinlichkeitsverteilung auf den möglichen Werten der unbekannten Parameter zu definieren. Er stützt sich also auf eine Wahrscheinlichkeitstheorie wie die von deFinetti. Die Wahrscheinlichkeit wird vom Frequentisten als etwas angesehen, das mit einer auf einem beobachteten Anteil basierenden Grenzfrequenz zu tun hat. Dies steht im Einklang mit der von Kolmogorov und von Mises entwickelten Wahrscheinlichkeitstheorie.
Ein Frequentist führt eine parametrische Inferenz nur unter Verwendung der Wahrscheinlichkeitsfunktion durch. Ein Bayesianer nimmt das und multipliziert es mit einem Prior und normalisiert es, um die posteriore Verteilung zu erhalten, die er für die Folgerung verwendet.

Michael Chernick
quelle
4
+1 Gute Antwort, aber es sollte betont werden, dass sich der Bayes'sche Ansatz und der Frequenzansatz hinsichtlich ihrer Interpretation der Wahrscheinlichkeit unterscheiden. Kolmogorov hingegen liefert eine axiomatische Grundlage für die Wahrscheinlichkeitstheorie, die keine Interpretation (!) Erfordert, wie sie der Bayes'sche oder der Frequentist verwendet. In gewisser Weise hat das axiomatische System ein Eigenleben! Von Kolmogorovs sechs Axiomen allein kann man meines Erachtens nicht behaupten, dass sein axiomatisches System entweder bayesianisch oder frequentistisch ist und tatsächlich mit beiden übereinstimmen könnte.
Graeme Walsh
0

Die Art und Weise, wie ich diese Frage beantworte, ist, dass Frequentisten die Daten, die sie sehen, mit den erwarteten vergleichen. Das heißt, sie haben ein mentales Modell dafür, wie häufig etwas passieren sollte, und sehen dann Daten und wie oft es passiert ist. dh wie wahrscheinlich sind die Daten, die sie gesehen haben, bei dem von ihnen gewählten Modell?

Bayesianer hingegen kombinieren ihre mentalen Modelle. Das heißt, sie haben ein Modell, das auf ihren früheren Erfahrungen basiert und ihnen sagt, wie die Daten Ihrer Meinung nach aussehen sollten, und das sie dann mit den beobachteten Daten kombinieren, um sich auf einen `` posterioren '' Glauben zu einigen . Das heißt, sie finden die Wahrscheinlichkeit, dass das Modell, das sie wählen möchten, gültig ist, wenn die von ihnen beobachteten Daten vorliegen.

Demetrios Papakostas
quelle
-2

Frequentist: Der wahre Naturzustand ist. Wenn ich gewohnheitsmäßig solche Analysen mache, sind 95% meiner Antworten korrekt.

Bayesian: Es besteht eine Wahrscheinlichkeit von 95%, dass die richtige Antwort lautet ... Ich stütze mich dabei auf eine Kombination der Daten, die Sie mir gegeben haben, und unsere vorherigen Vermutungen, was die Wahrheit ist.

Emil M Friedman
quelle
-3

Frequentist: Wetten auf Würfel. Nur der Wert der Würfel entscheidet über das Ergebnis: Sie gewinnen Ihre Wette oder Sie nicht. Abhängig vom Zufall allein.

Bayesian: Texas Hold'em Poker spielen. Sie sind der einzige, der Ihre beiden Karten sieht. Sie haben einige Kenntnisse über die anderen Spieler auf dem Tisch. Sie müssen Ihre Gewinnwahrscheinlichkeit für Flop, Turn und River anpassen und möglicherweise festlegen, welche Spieler übrig bleiben. Bluffen sie oft? Sind sie aggressive oder passive Spieler? All dies entscheidet, was Sie tun. Es ist nicht nur die Wahrscheinlichkeit der ersten beiden Karten, die Sie erhalten, die darüber entscheidet, ob Sie gewinnen oder nicht.

Frequentist Poker zu spielen würde bedeuten, dass jeder Spieler zu Beginn seine Hände zeigt und dann setzt oder foldet, bevor Flop-, Turn- und River-Karten gezeigt werden. Jetzt hängt es nur noch vom Zufall ab, ob Sie gewinnen oder nicht.

ccrider
quelle
-5

Sagen Sie, wenn Sie Kopfschmerzen haben und zum Arzt gehen. Angenommen, in der Entscheidungsserie des Arztes gibt es zwei Ursachen für Kopfschmerzen: # 1 für Hirntumor (eine Ursache, die 99% der Zeit Kopfschmerzen verursacht) und # 2 für Erkältung (eine Ursache, die bei sehr wenigen Patienten Kopfschmerzen verursachen kann). .

Dann wäre eine Arztentscheidung auf der Grundlage eines häufigen Ansatzes, dass Sie einen Gehirntumor haben.

Die Entscheidung des Arztes basierend auf dem Bayes'schen Ansatz würde Ihnen sagen, dass Sie erkältet sind (auch wenn nur 1% der Erkältung Kopfschmerzen verursacht).

Yang Fu
quelle
1
(-1) Es ist unklar, was der Unterschied zwischen "Frequentist doc" und "Bayesian doc" ist. Ich sehe keinen Grund, warum Frequentist Doc die Daten über Erkältung, die Kopfschmerzen verursachen, ignorieren würde . Der Bayes'sche Doc scheint ohnehin nicht den Bayes'schen Satz oder die Bayes'schen Priors zu verwenden. Ich verstehe also nicht, wie er Bayes'sch ist.
Tim
Zu unplausibel, um eine nützliche oder sogar unterhaltsame Analogie zu sein.
Nick Cox
-6

Ein Kater und eine Katze sind in einer Stahlkammer zusammen mit ausreichend Futter und Wasser für 70 Tage eingesperrt.

Ein Frequentist würde sagen, die durchschnittliche Tragezeit für Katzen beträgt 66 Tage, das Weibchen war in der Hitze, als die Katzen eingepfercht wurden, und einmal in der Hitze wird sie sich 4 bis 7 Tage lang wiederholt paaren. Da es wahrscheinlich viele Ausbreitungsvorgänge gab und genügend Zeit für die Schwangerschaft, besteht die Wahrscheinlichkeit, dass am Tag 70, wenn die Kiste geöffnet wird, ein Wurf neugeborener Kätzchen vorhanden ist.

Ein Bayesianer würde sagen, ich habe an Tag 1 eine ernsthafte Marvin Gaye aus der Kiste kommen hören, und heute Morgen hörte ich viele kätzchenähnliche Geräusche aus der Kiste. Ohne viel über die Fortpflanzung von Katzen zu wissen, besteht die Wahrscheinlichkeit, dass an Tag 70, wenn die Kiste geöffnet wird, ein Wurf neugeborener Kätzchen vorhanden ist.

Ein Löwe
quelle
So wie ich es aufgeschrieben habe, insbesondere, wenn der Bayesianer nicht viel über die Fortpflanzung von Katzen weiß, würde am Anfang nur der Frequentist darauf wetten, dass es Kätzchen gibt. Die relevanten Punkte meines sehr groben Beispiels waren meistens, dass der Frequentist seine Vorhersage auf der Grundlage der Daten am Anfang machte, sich dann zurücklehnte, ohne neue Zusatzdaten einzubeziehen, während der Bayesianer anfangs nicht viele Daten hatte, aber weiterhin einbezog relevante Daten, sobald sie verfügbar sind.
Ein Löwe
3
... und warum nutzt ein Nicht-Bayesianer die zusätzlichen Daten nicht auch?
whuber