Wie würden Sie im Klartext die Merkmale beschreiben, die das Bayes'sche vom frequentistischen Denken unterscheiden?
bayesian
frequentist
Daniel Vassallo
quelle
quelle
Antworten:
So würde ich meiner Oma den grundsätzlichen Unterschied erklären:
Ich habe mein Telefon irgendwo zu Hause verlegt. Ich kann den Telefonfinder an der Basis des Instruments verwenden, um das Telefon zu lokalisieren. Wenn ich auf den Telefonfinder drücke, ertönt ein Piepton.
Problem: In welchem Bereich meines Hauses soll ich suchen?
Frequentistisches Denken
Ich kann das Telefon piepen hören. Ich habe auch ein mentales Modell, das mir hilft, den Bereich zu identifizieren, aus dem der Ton kommt. Daher muss ich nach dem Signalton den Bereich meines Zuhauses suchen, um das Telefon zu lokalisieren.
Bayesianisches Denken
Ich kann das Telefon piepen hören. Abgesehen von einem mentalen Modell, das mir hilft, den Bereich zu identifizieren, von dem der Ton kommt, kenne ich jetzt auch die Orte, an denen ich das Telefon in der Vergangenheit verlegt habe. Daher kombiniere ich meine Schlussfolgerungen mithilfe der Signaltöne und meiner vorherigen Informationen zu den Orten, an denen ich das Telefon in der Vergangenheit verlegt habe, um einen Bereich zu identifizieren, in dem ich suchen muss, um das Telefon zu finden.
quelle
Zunge fest in der Wange:
Ein Bayesianer definiert eine "Wahrscheinlichkeit" genauso wie die meisten Nicht-Statistiker - nämlich als Hinweis auf die Plausibilität eines Satzes oder einer Situation. Wenn Sie ihm eine Frage stellen, gibt er Ihnen eine direkte Antwort, indem er Wahrscheinlichkeiten zuordnet, die die Plausibilität der möglichen Ergebnisse für die jeweilige Situation beschreiben (und seine vorherigen Annahmen angeben).
Ein Frequentist ist jemand, der glaubt, dass Wahrscheinlichkeiten langfristige Häufigkeiten darstellen, mit denen Ereignisse auftreten. Wenn nötig, wird er eine fiktive Population erfinden, aus der Ihre spezielle Situation als Zufallsstichprobe angesehen werden kann, damit er sinnvoll über langfristige Häufigkeiten sprechen kann. Wenn Sie ihm eine Frage zu einer bestimmten Situation stellen, gibt er keine direkte Antwort, sondern macht eine Aussage zu dieser (möglicherweise imaginären) Population. Viele nicht-frequentistische Statistiker werden durch die Antwort leicht verwirrt und interpretieren sie als Bayes'sche Wahrscheinlichkeit für die jeweilige Situation.
Es ist jedoch wichtig anzumerken, dass die meisten Frequentist-Methoden ein Bayes'sches Äquivalent haben, das in den meisten Fällen im Wesentlichen das gleiche Ergebnis liefert. Der Unterschied ist größtenteils eine Angelegenheit der Philosophie und in der Praxis eine Angelegenheit von "Pferden für Kurse".
Wie Sie vielleicht erraten haben, bin ich Bayesianer und Ingenieur. ;O)
quelle
Sehr grob würde ich sagen:
Frequentist: Das Sampling ist unendlich und die Entscheidungsregeln können scharf sein. Daten sind wiederholbare Zufallsstichproben - es gibt eine Häufigkeit. Die zugrunde liegenden Parameter sind fest, dh sie bleiben während dieses wiederholbaren Abtastvorgangs konstant.
Bayesian: Unbekannte Größen werden probabilistisch behandelt und der Zustand der Welt kann jederzeit aktualisiert werden. Daten werden von der realisierten Probe beobachtet. Parameter sind unbekannt und probabilistisch beschrieben. Es sind die Daten, die feststehen.
Es gibt einen brillanten Blog-Beitrag, der ein detailliertes Beispiel dafür gibt, wie ein Bayesianer und ein Frequentist dasselbe Problem angehen würden. Warum nicht das Problem selbst beantworten und dann prüfen?
Das Problem (aus dem Blog von Panos Ipeirotis):
Sie haben eine Münze, die, wenn sie geworfen wird, mit Wahrscheinlichkeit p den Kopf und mit Wahrscheinlichkeit 1-p den Schwanz erreicht. (Der Wert von p ist unbekannt.)
Beim Versuch, p abzuschätzen, wirfst du die Münze 100 Mal. Es endet 71-mal mit dem Kopf.
Dann muss man sich für folgendes Ereignis entscheiden: "In den nächsten zwei Würfen werden wir zwei Köpfe hintereinander bekommen."
Würdest du wetten, dass das Ereignis eintreten wird oder dass es nicht eintreten wird?
quelle
Nehmen wir an, ein Mann würfelt mit einem sechsseitigen Würfel und hat die Ergebnisse 1, 2, 3, 4, 5 oder 6. Außerdem sagt er, wenn er auf einer 3 landet, gibt er Ihnen ein kostenloses Lehrbuch.
Dann informell:
Der Frequentist würde sagen, dass jedes Ergebnis eine Chance von 1 zu 6 hat. Sie betrachtet die Wahrscheinlichkeit als aus langfristigen Häufigkeitsverteilungen abgeleitet.
Der Bayesianer würde jedoch sagen: Moment mal, ich kenne diesen Mann, er ist David Blaine, ein berühmter Trickster! Ich habe das Gefühl, er hat etwas vor. Ich werde sagen, dass es nur eine 1% ige Chance gibt, auf einer 3 zu landen, ABER ich werde dieses Vertrauen neu bewerten und es ändern, je öfter er würfelt. Wenn ich sehe, dass die anderen Zahlen gleich oft auftauchen, erhöhe ich iterativ die Chance von 1% auf etwas etwas Höheres, ansonsten werde ich sie noch weiter reduzieren. Sie sieht Wahrscheinlichkeit als Grad des Glaubens an einen Satz.
quelle
Nur ein bisschen Spaß ...
Ein Bayesianer ist einer, der vage ein Pferd erwartet und einen Blick auf einen Esel erhascht, der fest davon überzeugt ist, ein Maultier gesehen zu haben.
Von dieser Seite:
http://www2.isye.gatech.edu/~brani/isyebayes/jokes.html
und von der gleichen Seite, ein schöner Aufsatz ...
"Eine intuitive Erklärung von Bayes 'Theorem"
http://yudkowsky.net/rational/bayes
quelle
Der Bayesianer wird gebeten, Einsätze zu machen. Dazu kann alles gehören, von dem aus die Fliege schneller an die Wand kriecht, bis zu welcher Medizin die meisten Leben gerettet werden oder welche Gefangenen ins Gefängnis müssen. Er hat eine große Kiste mit einem Griff. Er weiß, dass, wenn er absolut alles, was er weiß, einschließlich seiner persönlichen Meinung in die Kiste steckt und den Griff dreht, dies die bestmögliche Entscheidung für ihn ist.
Der Frequentist wird gebeten, Berichte zu schreiben. Er hat ein großes schwarzes Regelwerk. Wenn die Situation, über die er einen Bericht erstellen soll, in seinem Regelwerk behandelt wird, kann er die Regeln befolgen und einen Bericht schreiben, der so sorgfältig formuliert ist, dass er im schlimmsten Fall einmal in 100 (oder einmal in 20 oder einmal) falsch ist Zeit in was auch immer die Spezifikation für seinen Bericht sagt).
Der Frequentist weiß (weil er Berichte darüber geschrieben hat), dass der Bayesianer manchmal Wetten abschließt, die im schlimmsten Fall, wenn seine persönliche Meinung falsch ist, schlecht ausfallen könnten. Der Frequentist weiß auch (aus dem gleichen Grund), dass er auf lange Sicht verlieren wird, wenn er jedes Mal gegen den Bayesianer setzt, wenn er sich von ihm unterscheidet.
quelle
Im Klartext würde ich sagen, dass Bayesianisches und Frequentistisches Denken sich durch zwei verschiedene Arten der Beantwortung der Frage unterscheiden:
Was ist wahrscheinlichkeit
Die meisten Unterschiede werden sich im Wesentlichen darauf beschränken, wie jede Frage beantwortet wird, da dies im Grunde den Bereich gültiger Anwendungen der Theorie definiert. Jetzt können Sie keine der beiden Antworten in "normalem Englisch" geben, ohne weitere Fragen zu generieren. Für mich ist die Antwort (wie Sie wahrscheinlich erraten könnten)
Wahrscheinlichkeit ist Logik
Für das frequentistische Denken haben wir die Antwort:
Wahrscheinlichkeit ist Frequenz
obwohl ich nicht sicher bin, ob "frequency" ein einfacher englischer Begriff ist, wie er hier verwendet wird - vielleicht ist "proportion" ein besseres Wort. Ich wollte in die häufig gestellte Antwort hinzufügen, dass die Wahrscheinlichkeit eines Ereignisses als eine reale, messbare (beobachtbare?) Größe angesehen wird, die unabhängig von der Person / dem Objekt existiert, die / das es berechnet. Aber ich konnte das nicht auf eine "einfache englische" Weise tun.
Vielleicht könnte eine "einfache englische" Version eines der Unterschiede sein, dass das frequentistische Denken ein Versuch ist, aus "absoluten" Wahrscheinlichkeiten zu schließen, während das bayesianische Denken ein Versuch ist, aus "relativen" Wahrscheinlichkeiten zu schließen.
Ein weiterer Unterschied besteht darin, dass die Grundlagen der Frequentisten vager sind, wie Sie das Problem der realen Welt in die abstrakte Mathematik der Theorie übersetzen. Ein gutes Beispiel ist die Verwendung von "Zufallsvariablen" in der Theorie - sie haben eine genaue Definition in der abstrakten Welt der Mathematik, aber es gibt kein eindeutiges Verfahren, mit dem man entscheiden kann, ob eine beobachtete Größe ein Zufall ist oder nicht Variable".
Die bayesianische Argumentationsweise, der Begriff einer "Zufallsvariablen", ist nicht notwendig. Eine Wahrscheinlichkeitsverteilung wird einer Größe zugeordnet, weil sie unbekannt ist. Dies bedeutet, dass sie nicht logisch aus den uns vorliegenden Informationen abgeleitet werden kann. Dies stellt sofort einen einfachen Zusammenhang zwischen der beobachtbaren Größe und der Theorie her - da "Unbekanntsein" eindeutig ist.
Sie können im obigen Beispiel auch einen weiteren Unterschied zwischen diesen beiden Denkweisen sehen - "zufällig" und "unbekannt". "Zufälligkeit" ist so formuliert, dass die "Zufälligkeit" wie eine Eigenschaft der tatsächlichen Menge zu sein scheint. Umgekehrt hängt "Unbekannt sein" davon ab, welche Person Sie nach dieser Menge fragen - daher ist es eine Eigenschaft des Statistikers, der die Analyse durchführt. Dies führt zu den "objektiven" gegenüber "subjektiven" Adjektiven, die häufig mit jeder Theorie verbunden sind. Es ist leicht zu zeigen, dass "Zufälligkeit" nicht eine Eigenschaft einiger Standardbeispiele sein kann, indem einfach zwei Frequentisten, die unterschiedliche Informationen über dieselbe Menge erhalten, gebeten werden, zu entscheiden, ob sie "zufällig" sind. Eine ist die übliche Bernoulli-Urne: Frequentist 1 hat beim Zeichnen die Augen verbunden, während frequentist 2 über der urne steht und frequentist 1 beobachtet, wie er die kugeln aus der urne zieht. Wenn die Erklärung der "Zufälligkeit" eine Eigenschaft der Kugeln in der Urne ist, kann sie nicht von den unterschiedlichen Kenntnissen der Frequentisten 1 und 2 abhängen - und daher sollten die beiden Frequentisten die gleiche Erklärung der "Zufälligkeit" oder der "Nicht-Zufälligkeit" abgeben. .
quelle
In Wirklichkeit denke ich, dass ein Großteil der Philosophie, die das Thema umgibt, einfach großartig ist. Das heißt nicht, die Debatte abzulehnen, aber es ist ein Wort der Vorsicht. Manchmal haben praktische Fragen Vorrang - ich gebe unten ein Beispiel.
Genauso gut könnte man argumentieren, dass es mehr als zwei Ansätze gibt:
Ein älterer Kollege erinnerte mich kürzlich daran, dass "viele Menschen in einer gemeinsamen Sprache über Frequentisten und Bayesianer sprechen. Ich denke, dass eine gültige Unterscheidung auf Wahrscheinlichkeit und Frequentisten beruht. Sowohl die Maximum-Likelihood- als auch die Bayesian-Methode halten sich an das Likelihood-Prinzip, während die Frequentisten-Methoden dies nicht tun. "
Ich beginne mit einem sehr einfachen praktischen Beispiel:
Der Test ist also entweder 100% genau oder 95% genau, je nachdem, ob der Patient gesund oder krank ist. Zusammengenommen bedeutet dies, dass der Test zu mindestens 95% genau ist.
So weit, ist es gut. Das sind die Aussagen, die ein Frequentist machen würde. Diese Aussagen sind recht einfach zu verstehen und stimmen. Über eine "frequentistische Interpretation" muss man nicht waffeln.
Aber es wird interessant, wenn Sie versuchen, die Dinge umzudrehen. Was können Sie angesichts des Testergebnisses über die Gesundheit des Patienten lernen? Bei einem negativen Testergebnis ist der Patient offensichtlich gesund, da keine falsch negativen Ergebnisse vorliegen.
Wir müssen aber auch den Fall berücksichtigen, in dem der Test positiv ist. War der Test positiv, weil der Patient tatsächlich krank war, oder war er falsch positiv? Hier gehen der Frequentist und der Bayesianer auseinander. Alle werden zustimmen, dass dies derzeit nicht beantwortet werden kann. Der Frequentist wird sich weigern zu antworten. Der Bayesianer ist bereit, Ihnen eine Antwort zu geben, aber Sie müssen dem Bayesianer zuerst eine Vorabangabe machen - dh sagen, wie viel Prozent der Patienten krank sind.
Zusammenfassend sind die folgenden Aussagen wahr:
Wenn Sie mit Aussagen wie diesen zufrieden sind, dann verwenden Sie frequentistische Interpretationen. Dies kann sich von Projekt zu Projekt ändern, je nachdem, auf welche Art von Problemen Sie stoßen.
Möglicherweise möchten Sie jedoch andere Aussagen treffen und die folgende Frage beantworten:
Dies erfordert einen vorherigen und einen bayesianischen Ansatz. Beachten Sie auch, dass dies die einzige Frage ist, die den Arzt interessiert. Der Arzt wird sagen: "Ich weiß, dass die Patienten entweder ein positives oder ein negatives Ergebnis erhalten. Ich weiß auch, dass das negative Ergebnis bedeutet, dass der Patient gesund ist und nach Hause geschickt werden kann. Die einzigen Patienten, die mich jetzt interessieren, sind die, die es bekommen." ein positives Ergebnis - sind sie krank? "
Zusammenfassend: In solchen Beispielen wird der Bayesianer mit allem übereinstimmen, was der Frequentist sagt. Aber der Bayesianer wird argumentieren, dass die Aussagen des Frequentisten, obwohl sie wahr sind, nicht sehr nützlich sind; und wird argumentieren, dass die nützlichen Fragen nur mit einer vorherigen beantwortet werden können.
Ein Frequentist wird nacheinander jeden möglichen Wert des Parameters (H oder S) prüfen und fragen: "Wenn der Parameter diesem Wert entspricht, wie hoch ist die Wahrscheinlichkeit, dass mein Test korrekt ist?"
Ein Bayesianer wird stattdessen jeden möglichen beobachteten Wert (+ oder -) der Reihe nach betrachten und fragen: "Wenn ich mir vorstelle, dass ich diesen Wert gerade beobachtet habe, was sagt mir das über die bedingte Wahrscheinlichkeit von H gegen S aus?"
quelle
For sick patients, the test is NOT very accurate.
du vergisst das NICHT?Bayesianische und frequentistische Statistiken sind insofern vereinbar, als sie als zwei Grenzfälle für die Einschätzung der Wahrscheinlichkeit zukünftiger Ereignisse auf der Grundlage vergangener Ereignisse und eines angenommenen Modells verstanden werden können, wenn man zugibt, dass an der Grenze einer sehr großen Anzahl von Beobachtungen keine Unsicherheit darüber besteht Das System bleibt bestehen, und in diesem Sinne ist eine sehr große Anzahl von Beobachtungen gleichbedeutend mit der Kenntnis der Parameter des Modells.
Angenommen, wir haben einige Beobachtungen gemacht, z. B. das Ergebnis von 10 Münzwürfen. In der Bayes'schen Statistik gehen Sie von Ihren Beobachtungen aus und bewerten dann die Wahrscheinlichkeit zukünftiger Beobachtungen oder Modellparameter. In der frequentistischen Statistik gehen Sie von einer Idee (Hypothese) der Wahrheit aus, indem Sie Szenarien einer großen Anzahl von Beobachtungen annehmen, die gemacht wurden, z. Basierend auf diesen Szenarien einer großen Anzahl von Beobachtungen (= Hypothese) beurteilen Sie die Häufigkeit von Beobachtungen, wie Sie sie gemacht haben, dh die Häufigkeit unterschiedlicher Ergebnisse von 10 Münzwürfen. Nur dann nehmen Sie Ihr tatsächliches Ergebnis, vergleichen es mit der Häufigkeit möglicher Ergebnisse und entscheiden, ob das Ergebnis zu den Ergebnissen gehört, von denen erwartet wird, dass sie mit hoher Häufigkeit auftreten. Wenn dies der Fall ist, schließen Sie, dass die gemachte Beobachtung Ihren Szenarien nicht widerspricht (= Hypothese). Andernfalls schließen Sie, dass die gemachte Beobachtung nicht mit Ihren Szenarien kompatibel ist, und Sie lehnen die Hypothese ab.
Die Bayes'sche Statistik geht also von den Beobachtungen aus und bewertet mögliche zukünftige Ergebnisse. Frequentistische Statistiken beginnen mit einem abstrakten Experiment darüber, was beobachtet werden würde, wenn man etwas annimmt, und vergleichen dann die Ergebnisse des abstrakten Experiments mit dem, was tatsächlich beobachtet wurde. Ansonsten sind die beiden Ansätze kompatibel. Beide beurteilen die Wahrscheinlichkeit zukünftiger Beobachtungen auf der Grundlage einiger gemachter oder vermuteter Beobachtungen.
Ich fing an, dies auf eine formalere Art und Weise aufzuschreiben:
Positionierung der Bayes'schen Inferenz als besondere Anwendung der frequentistischen Inferenz und umgekehrt. figshare.
http://dx.doi.org/10.6084/m9.figshare.867707
Das Manuskript ist neu. Wenn Sie es lesen und Kommentare haben, lassen Sie es mich bitte wissen.
quelle
Ich würde sagen, dass sie die Wahrscheinlichkeit auf unterschiedliche Weise betrachten. Der Bayesian ist subjektiv und verwendet a priori Überzeugungen, um eine vorherige Wahrscheinlichkeitsverteilung auf den möglichen Werten der unbekannten Parameter zu definieren. Er stützt sich also auf eine Wahrscheinlichkeitstheorie wie die von deFinetti. Die Wahrscheinlichkeit wird vom Frequentisten als etwas angesehen, das mit einer auf einem beobachteten Anteil basierenden Grenzfrequenz zu tun hat. Dies steht im Einklang mit der von Kolmogorov und von Mises entwickelten Wahrscheinlichkeitstheorie.
Ein Frequentist führt eine parametrische Inferenz nur unter Verwendung der Wahrscheinlichkeitsfunktion durch. Ein Bayesianer nimmt das und multipliziert es mit einem Prior und normalisiert es, um die posteriore Verteilung zu erhalten, die er für die Folgerung verwendet.
quelle
Die Art und Weise, wie ich diese Frage beantworte, ist, dass Frequentisten die Daten, die sie sehen, mit den erwarteten vergleichen. Das heißt, sie haben ein mentales Modell dafür, wie häufig etwas passieren sollte, und sehen dann Daten und wie oft es passiert ist. dh wie wahrscheinlich sind die Daten, die sie gesehen haben, bei dem von ihnen gewählten Modell?
Bayesianer hingegen kombinieren ihre mentalen Modelle. Das heißt, sie haben ein Modell, das auf ihren früheren Erfahrungen basiert und ihnen sagt, wie die Daten Ihrer Meinung nach aussehen sollten, und das sie dann mit den beobachteten Daten kombinieren, um sich auf einen `` posterioren '' Glauben zu einigen . Das heißt, sie finden die Wahrscheinlichkeit, dass das Modell, das sie wählen möchten, gültig ist, wenn die von ihnen beobachteten Daten vorliegen.
quelle
Frequentist: Der wahre Naturzustand ist. Wenn ich gewohnheitsmäßig solche Analysen mache, sind 95% meiner Antworten korrekt.
Bayesian: Es besteht eine Wahrscheinlichkeit von 95%, dass die richtige Antwort lautet ... Ich stütze mich dabei auf eine Kombination der Daten, die Sie mir gegeben haben, und unsere vorherigen Vermutungen, was die Wahrheit ist.
quelle
Frequentist: Wetten auf Würfel. Nur der Wert der Würfel entscheidet über das Ergebnis: Sie gewinnen Ihre Wette oder Sie nicht. Abhängig vom Zufall allein.
Bayesian: Texas Hold'em Poker spielen. Sie sind der einzige, der Ihre beiden Karten sieht. Sie haben einige Kenntnisse über die anderen Spieler auf dem Tisch. Sie müssen Ihre Gewinnwahrscheinlichkeit für Flop, Turn und River anpassen und möglicherweise festlegen, welche Spieler übrig bleiben. Bluffen sie oft? Sind sie aggressive oder passive Spieler? All dies entscheidet, was Sie tun. Es ist nicht nur die Wahrscheinlichkeit der ersten beiden Karten, die Sie erhalten, die darüber entscheidet, ob Sie gewinnen oder nicht.
Frequentist Poker zu spielen würde bedeuten, dass jeder Spieler zu Beginn seine Hände zeigt und dann setzt oder foldet, bevor Flop-, Turn- und River-Karten gezeigt werden. Jetzt hängt es nur noch vom Zufall ab, ob Sie gewinnen oder nicht.
quelle
Sagen Sie, wenn Sie Kopfschmerzen haben und zum Arzt gehen. Angenommen, in der Entscheidungsserie des Arztes gibt es zwei Ursachen für Kopfschmerzen: # 1 für Hirntumor (eine Ursache, die 99% der Zeit Kopfschmerzen verursacht) und # 2 für Erkältung (eine Ursache, die bei sehr wenigen Patienten Kopfschmerzen verursachen kann). .
Dann wäre eine Arztentscheidung auf der Grundlage eines häufigen Ansatzes, dass Sie einen Gehirntumor haben.
Die Entscheidung des Arztes basierend auf dem Bayes'schen Ansatz würde Ihnen sagen, dass Sie erkältet sind (auch wenn nur 1% der Erkältung Kopfschmerzen verursacht).
quelle
Ein Kater und eine Katze sind in einer Stahlkammer zusammen mit ausreichend Futter und Wasser für 70 Tage eingesperrt.
Ein Frequentist würde sagen, die durchschnittliche Tragezeit für Katzen beträgt 66 Tage, das Weibchen war in der Hitze, als die Katzen eingepfercht wurden, und einmal in der Hitze wird sie sich 4 bis 7 Tage lang wiederholt paaren. Da es wahrscheinlich viele Ausbreitungsvorgänge gab und genügend Zeit für die Schwangerschaft, besteht die Wahrscheinlichkeit, dass am Tag 70, wenn die Kiste geöffnet wird, ein Wurf neugeborener Kätzchen vorhanden ist.
Ein Bayesianer würde sagen, ich habe an Tag 1 eine ernsthafte Marvin Gaye aus der Kiste kommen hören, und heute Morgen hörte ich viele kätzchenähnliche Geräusche aus der Kiste. Ohne viel über die Fortpflanzung von Katzen zu wissen, besteht die Wahrscheinlichkeit, dass an Tag 70, wenn die Kiste geöffnet wird, ein Wurf neugeborener Kätzchen vorhanden ist.
quelle