Sind wir Frequentisten wirklich nur implizite / unwissende Bayesianer?

15

Für ein gegebenes Inferenzproblem wissen wir, dass sich ein Bayes'scher Ansatz normalerweise sowohl in der Form unterscheidet als auch aus einem fequentistischen Ansatz resultiert. Frequentisten (in der Regel auch ich) weisen häufig darauf hin, dass für ihre Methoden keine vorherige Verwendung erforderlich ist und sie daher eher "datengesteuert" als "urteilsgesteuert" sind. Natürlich kann Bayesian auf nicht informative Prioritäten verweisen oder, pragmatisch, einfach einen wirklich diffusen Prior verwenden.

Mein Anliegen ist, besonders nachdem ich einen Hauch von Selbstgefälligkeit in Bezug auf meine fequentistische Objektivität verspürt habe, dass meine angeblich "objektiven" Methoden in einem Bayes'schen Rahmen formuliert werden können, wenn auch mit einem ungewöhnlichen Vorgänger- und Datenmodell. Bin ich in diesem Fall nur selig unwissend über den absurden Prior und das Modell, das meine frequentistische Methode impliziert ?

Wenn ein Bayesianer auf eine solche Formulierung hinweist, würde meine erste Reaktion lauten: "Schön, dass Sie das können, aber so denke ich nicht über das Problem!". Aber wen interessiert es, wie ich darüber denke oder wie ich es formuliere. Wenn meine Prozedur statistisch / mathematisch einem Bayes'schen Modell entspricht, führe ich implizit ( unabsichtlich !) Eine Bayes'sche Inferenz durch.

Aktuelle Frage unten

Diese Erkenntnis hat die Versuchung, selbstgefällig zu sein, erheblich untergraben. Aber ich bin mir nicht sicher , ob sein wahr , dass das Bayes - Paradigma all frequentistischen Verfahren aufnehmen kann (wieder, sofern die Bayes wählt eine geeignete vor und Wahrscheinlichkeit) . Ich weiß , das Gegenteil ist falsch.

Ich frage dies, weil ich kürzlich eine Frage zur bedingten Inferenz gestellt habe, die mich zu folgendem Artikel geführt hat : hier (siehe 3.9.5.3.9.6)

Sie weisen auf Basus bekanntes Ergebnis hin, dass es mehr als eine Zusatzstatistik geben kann, und werfen die Frage auf, welche "relevante Teilmenge" am relevantesten ist. Schlimmer noch, sie zeigen zwei Beispiele, bei denen die Anwesenheit anderer relevanter Teilmengen nicht beseitigt wird, selbst wenn Sie eine eindeutige Zusatzstatistik haben.

Sie kommen zu dem Schluss, dass nur Bayesianische Methoden (oder Methoden, die ihnen entsprechen) dieses Problem umgehen können, was eine problemlose bedingte Folgerung ermöglicht.


Es kann sein, dass Bayesian Stats Fequentist Stats nicht der Fall sind - das ist meine Frage an diese Gruppe hier. Es scheint jedoch, dass eine grundlegende Wahl zwischen den beiden Paradigmen weniger in der Philosophie als in den Zielen liegt: Benötigen Sie eine hohe bedingte Genauigkeit oder einen geringen bedingungslosen Fehler?

  • Eine hohe bedingte Genauigkeit scheint anwendbar zu sein, wenn wir eine einzelne Instanz analysieren müssen - wir möchten für DIESE bestimmte Schlussfolgerung richtig sein, obwohl diese Methode für den nächsten Datensatz möglicherweise nicht geeignet oder genau ist (Hyper-Konditionalität / Spezialisierung).

  • Ein geringer bedingungsloser Fehler ist angemessen, wenn wir in einigen Fällen bedingt falsche Schlussfolgerungen ziehen wollen, solange unser langfristiger Fehler minimiert oder kontrolliert wird. Ehrlich gesagt, nachdem ich das geschrieben habe, bin ich mir nicht sicher, warum ich das wollen würde, wenn ich nicht genug Zeit hätte und keine Bayes'sche Analyse machen könnte ... hmmm.

Ich neige dazu, likelihoodbasierte fequentistische Inferenz zu bevorzugen, da ich eine gewisse (asymptotische / ungefähre) Konditionalität von der Likelihood-Funktion habe, mich aber nicht mit Prioritäten herumschlagen muss Ich sehe den vorherigen Regularisierungsterm für kleine Stichprobeninferenzen.

Entschuldigung für die Seite. Jede Hilfe für mein Hauptproblem wird geschätzt.


quelle
1
Eine Bearbeitung des Beitrags scheint den Link durcheinander gebracht zu haben, aber es gibt nicht genug Informationen, um dies zu beheben.
Dikran Beuteltier
@DikranMarsupial danke, dass du das bemerkt hast. Ich habe wieder in den Link aufgenommen.

Antworten:

3

Ich würde argumentieren, dass Frequentisten in der Tat oft "implizite / unwissende Bayesianer" sind, da wir in der Praxis oft probabilistische Überlegungen zu Dingen anstellen möchten, die keine langfristige Häufigkeit haben. Das klassische Beispiel ist das statistische Testen der Nullhypothese (NHST), bei dem die relativen Wahrscheinlichkeiten der Null- und der Forschungshypothese wirklich bekannt sein sollen. Dies können wir jedoch nicht in einem häufigeren Umfeld tun, da die Wahrheit einer bestimmten Hypothese nicht zutrifft (nicht-triviale) Langzeitfrequenz - entweder wahr oder nicht. Häufig auftretende NHSTs umgehen dies, indem sie eine andere Frage ersetzen: "Wie hoch ist die Wahrscheinlichkeit, dass ein Ergebnis unter der Nullhypothese mindestens so extrem ist?" Und diese dann mit einem vorher festgelegten Schwellenwert vergleichen. Diese Prozedur ist jedoch nicht logisch Lassen Sie uns irgendetwas darüber schließen, ob H0 oder H1 wahr ist, und dabei verlassen wir tatsächlich einen häufig auftretenden Rahmen in einen (normalerweise subjektiven) Bayesianischen, aus dem wir schließen, dass die Wahrscheinlichkeit, einen solchen Extremwert unter H0 zu beobachten, gleich ist so niedrig, dass wir nicht mehr glauben können, dass H0 wahrscheinlich wahr ist (beachten Sie, dass dies implizit einer bestimmten Hypothese eine Wahrscheinlichkeit zuweist).

αp(H0)p(H1)

Bildbeschreibung hier eingeben

α

Vermutlich werden Konfidenzintervalle häufig als Intervall verwendet (und interpretiert), in dem die Beobachtungen mit einer bestimmten Wahrscheinlichkeit zu erwarten sind, was wiederum eine Bayes'sche Interpretation ist.

Im Idealfall sollten Statistiker die Vor- und Nachteile beider Ansätze kennen und bereit sein, den richtigen Rahmen für die jeweilige Anwendung zu verwenden. Grundsätzlich sollten wir versuchen, die Analyse zu verwenden, die die direkteste Antwort auf die tatsächlich zu beantwortende Frage liefert (und eine andere Frage nicht stillschweigend ersetzt). Daher ist ein frequentistischer Ansatz wahrscheinlich am effizientesten, wenn wir tatsächlich an langfristigen Frequenzen interessiert sind Bayesianische Methoden, bei denen dies nicht der Fall ist.

Ich vermute, dass die meisten häufig gestellten Fragen von einem Bayesianer beantwortet werden können, da es nichts gibt, was einen Bayesianer daran hindert, Fragen wie "Wie hoch ist die Wahrscheinlichkeit, ein Ergebnis zu beobachten, wenn mindestens so extrem ist?" Zu beantwortenH0 wahr ist" zu Lesen Sie etwas über diese interessante Frage.

Dikran Beuteltier
quelle
2
p<0.05
3
Ich denke, es funktioniert als Kritik an "Null-Ritual" -Statistiken, bei denen NHSTs als Rezept aus dem Statistik-Kochbuch verwendet werden, ohne das Verfahren zu überlegen / zu verstehen (wahrscheinlich einschließlich mir, als ich anfing; o).
Dikran Beuteltier
2
Ich denke, ein großes Problem bei NHST ist weniger das ritualisierte p <0,05 als vielmehr, dass es den Raum der Hypothesen künstlich einschränkt. Ich meine, sie ziehen nicht (als Hypothesen) die zahlreichen anderen Gründe in Betracht, dass es dunkel wäre, außer "die Sonne explodierte". Das ist es, was ich an NHST wirklich nicht mag ... es ist so konservativ gegenüber dem Nullpunkt. Ich frage mich auch, was die Kraft dieses Tests sein würde.
1
H0
@DikranMarsupial einverstanden! Fisher stellte sich vor, dass sie bei landwirtschaftlichen Experimenten helfen würden, aus denen der p-Wert stammt. Die Bewertung von Pestiziden und Düngemitteln ist nichts anderes als die Bewertung nicht replizierbarer existenzieller Fragen ... falsches Werkzeug für den Job.
4

Bayesianer und Frequentisten unterscheiden sich nicht nur darin, wie sie Schlussfolgerungen ziehen oder wie ähnlich oder unterschiedlich diese Schlussfolgerungen sein können. Der Hauptunterschied besteht darin, wie sie die Wahrscheinlichkeit interpretieren:

Bayes'sche Wahrscheinlichkeit :

Die Bayes'sche Wahrscheinlichkeit ist eine Interpretation des Wahrscheinlichkeitsbegriffs. Im Gegensatz zur Interpretation der Wahrscheinlichkeit als Häufigkeit oder Neigung eines Phänomens ist die Bayes'sche Wahrscheinlichkeit eine Größe, die zugewiesen wird, um einen Wissenszustand oder einen Glaubenszustand darzustellen.

Frequentistische Wahrscheinlichkeit :

Frequentistische Wahrscheinlichkeit oder Frequentismus ist eine Standardinterpretation der Wahrscheinlichkeit; Es definiert die Wahrscheinlichkeit eines Ereignisses als die Grenze seiner relativen Häufigkeit in einer großen Anzahl von Versuchen. Diese Interpretation unterstützt den statistischen Bedarf experimenteller Wissenschaftler und Meinungsforscher. Wahrscheinlichkeiten können (im Prinzip) durch einen wiederholbaren objektiven Prozess gefunden werden (und sind daher im Idealfall ohne Meinung). Es werden nicht alle Bedürfnisse unterstützt. Spieler benötigen normalerweise Schätzungen der Gewinnchancen ohne Experimente.

Diese beiden Definitionen stellen zwei unvereinbare Ansätze dar, um den Begriff der Wahrscheinlichkeit zu definieren (zumindest bisher). Es gibt also grundlegendere Unterschiede zwischen diesen beiden Bereichen, als ob Sie in einigen parametrischen oder nichtparametrischen Modellen ähnliche Schätzer oder die gleichen Schlussfolgerungen ziehen können.

Pollo Anabolico
quelle
1
Ich denke nicht, dass sie völlig unvereinbar sind, eine langfristige Häufigkeit ist eine absolut vernünftige Grundlage für einen Wissens- oder Glaubensstand.
Dikran Beuteltier
@DikranMarsupial Dies ist eigentlich ein offenes Problem in der Wissenschaftsphilosophie. Ich verstehe Ihren Standpunkt, aber die Versöhnung ist nicht so einfach.
Pollo Anabolico
Vielen Dank, Pollo. Ich stimme Ihnen zu, dass Frequentisten und Bayesianer die Wahrscheinlichkeit unterschiedlich interpretieren. Wie ich in meiner Präambel festgestellt habe, konzentriere ich mich nicht auf das, was sie über Wahrscheinlichkeit denken, sondern auf die Mechanik des Schliessens. Wenn jede frequentistische Inferenzmethode ein Bayes'sches Analogon hat (mathematisch gesehen Isomorphismus), dann ist dies die frequentistische InferenzfunctichÖneinllygleichbedeutend mit der bayesianischen Folgerung, unabhängig von philosophischen Unterschieden.
Wahrscheinlich wären Frequentisten funktional gleichwertig, wenn es für jedes Bayes'sche Verfahren auch ein Frequentistenanalog gäbe, was nicht wahr sein kann, da Bayes'sche von Wahrscheinlichkeiten für Dinge ohne Langzeitfrequenzen sprechen können, aber Frequentisten nicht.
Dikran Marsupial
@DikranMarsupial Ja, deshalb habe ich gefragt, ob Fequentisten eine Untergruppe von Bayesian sind (ich habe eingeräumt, dass das Gegenteil als falsch bekannt ist).