Wann (wenn überhaupt) ist ein frequentistischer Ansatz wesentlich besser als ein bayesianischer?

Hintergrund : Ich habe keine formelle Ausbildung in Bayes'scher Statistik (obwohl ich sehr daran interessiert bin, mehr zu lernen), aber ich weiß genug - glaube ich - um zu verstehen, warum viele das Gefühl haben, sie seien häufigen Statistiken vorzuziehen. Sogar die Studenten der Einführungsklasse Statistik (in den Sozialwissenschaften), die ich unterrichte, finden den Bayes'schen Ansatz ansprechend: "Warum sind wir daran interessiert, die Wahrscheinlichkeit der Daten angesichts der Null zu berechnen? Warum können wir die Wahrscheinlichkeit von nicht einfach quantifizieren? ? die Nullhypothese oder die alternative Hypothese Und ich habe auch gelesen , Themen wie diese , die auch die empirischen Vorteile der Bayes - Statistik belegen Aber dann kam ich durch Blasco über dieses Zitat (2001; Hervorhebung hinzugefügt).:

Wenn der Tierzüchter nicht an den philosophischen Problemen interessiert ist, die mit der Induktion verbunden sind, sondern an Werkzeugen zur Lösung von Problemen, sind sowohl bayesianische als auch frequentistische Inferenzschulen gut etabliert und es ist nicht notwendig zu rechtfertigen, warum die eine oder andere Schule bevorzugt wird. Mit Ausnahme einiger komplexer Fälle hat keiner von ihnen jetzt operative Schwierigkeiten. Die Wahl der einen oder der anderen Schule sollte sich darauf beziehen, ob es in einer Schule Lösungen gibt, die die andere nicht bietet , und wie leicht die Probleme gelöst werden können und wie wohl sich der Wissenschaftler mit den Ergebnissen der jeweiligen Ausdrucksweise fühlt.

Die Frage : Das Blasco-Zitat scheint darauf hinzudeuten, dass es Zeiten geben könnte, in denen ein frequentistischer Ansatz tatsächlich einem bayesianischen vorzuziehen ist. Ich bin also gespannt: Wann wäre ein frequentistischer Ansatz einem bayesianischen Ansatz vorzuziehen? Ich interessiere mich für Antworten, die die Frage sowohl konzeptionell (dh wann ist es besonders nützlich, die Wahrscheinlichkeit der von der Nullhypothese abhängigen Daten zu kennen?) Als auch empirisch (dh unter welchen Bedingungen zeichnen sich Frequentistische Methoden gegenüber Bayesianischen Methoden aus?) Angehen.

Es wäre auch vorzuziehen, die Antworten so zugänglich wie möglich zu machen - es wäre schön, einige Antworten in meine Klasse mitzunehmen, um sie mit meinen Schülern zu teilen (obwohl ich verstehe, dass ein gewisses Maß an Technik erforderlich ist).

Schließlich bin ich, obwohl ich regelmäßig Frequentist-Statistiken benutze, offen für die Möglichkeit, dass Bayesian auf ganzer Linie gewinnt.

Hier sind fünf Gründe, warum Frequentisten Methoden bevorzugt werden können:

• Schneller. Angesichts der Tatsache, dass die Bayes'schen Statistiken häufig fast identische Antworten auf häufig auftretende Fragen liefern (und wenn dies nicht der Fall ist, ist es nicht 100% klar, dass Bayes'sch immer der richtige Weg ist), ist die Tatsache, dass häufig auftretende Fragen oftmals um mehrere Größenordnungen schneller erfasst werden können ein starkes argument. Ebenso benötigen frequentistische Methoden nicht so viel Speicher, um die Ergebnisse zu speichern. Obwohl diese Dinge, insbesondere bei kleineren Datenmengen, etwas trivial erscheinen mögen, bedeutet die Tatsache, dass Bayesian und Frequentist in den Ergebnissen normalerweise übereinstimmen (insbesondere, wenn Sie viele informative Daten haben), dass Sie sich um die weniger wichtigen kümmern können, wenn Sie sich kümmern werden Dinge. Und natürlich, wenn Sie in der Big-Data-Welt leben, sind diese überhaupt nicht trivial.

• Nichtparametrische Statistik. Ich erkenne, dass die Bayes'sche Statistik nicht-parametrische Statistiken enthält, aber ich würde argumentieren, dass die frequentistische Seite des Feldes einige wirklich unbestreitbare praktische Werkzeuge wie die empirische Verteilungsfunktion enthält. Keine Methode auf der Welt wird jemals die EDF, die Kaplan-Meier-Kurven usw. ersetzen (obwohl dies natürlich nicht das Ende einer Analyse bedeutet).

• Weniger Diagnose. MCMC-Methoden, die gebräuchlichste Methode zum Anpassen von Bayes'schen Modellen, erfordern normalerweise mehr Arbeit für den Benutzer als sein häufigstes Gegenstück. Normalerweise ist die Diagnose für eine MLE-Schätzung so einfach, dass jede gute Algorithmusimplementierung dies automatisch tut (obwohl dies nicht bedeutet, dass jede verfügbare Implementierung gut ist ...). Daher lautet die häufig auftretende algorithmische Diagnose in der Regel "Stellen Sie sicher, dass beim Anpassen des Modells kein roter Text angezeigt wird". Angesichts der Tatsache, dass alle Statistiker über eine begrenzte Bandbreite verfügen, bleibt mehr Zeit für Fragen wie "Sind meine Daten wirklich ungefähr normal?". oder "Sind diese Gefahren wirklich verhältnismäßig?" usw.

• Gültige Schlussfolgerung bei fehlerhafter Modellspezifikation. Wir haben alle gehört, dass "alle Modelle falsch sind, aber einige nützlich", aber verschiedene Forschungsbereiche nehmen dies mehr oder weniger ernst. Die Frequentist-Literatur enthält eine Fülle von Methoden zum Beheben von Inferenzen, wenn das Modell falsch spezifiziert ist: Bootstrap-Schätzer, Kreuzvalidierung, Sandwich-Schätzer (Link erläutert auch allgemeine MLE-Inferenzen unter Modellfehlspezifikation), verallgemeinerte Schätzungsgleichungen (GEEs), Quasi-Likelihood-Methoden, usw. Soweit ich weißIn der Bayes'schen Literatur gibt es sehr wenig über Inferenz unter Modellfehlspezifikation (obwohl die Modellprüfung, dh die posteriore Vorhersageprüfung, viel diskutiert wird). Ich denke, das ist kein Zufall: Um das Verhalten eines Schätzers bei wiederholten Versuchen beurteilen zu können, muss der Schätzer nicht auf einem "wahren" Modell basieren, sondern es muss ein Bayes-Theorem verwendet werden!

• Freiheit vom Prior (dies ist wahrscheinlich der häufigste Grund, warum Menschen nicht für alles Bayes'sche Methoden anwenden). Die Stärke des bayesianischen Standpunkts wird oft als die Verwendung von Priors angepriesen. In allen Bereichen, in denen ich gearbeitet habe, wird jedoch die Idee eines informativen Vorgängers in der Analyse nicht berücksichtigt. Die Lektüre von Literatur zur Ermittlung von Prioritäten bei nichtstatistischen Experten liefert hierfür gute Gründe. Ich habe Zeitungen gelesen, in denen Dinge wie (grausamer Strohmann wie meine eigenen umschreiben) stehen sein in. Dieser Bereich ist normalerweise zu eng, also versuchen Sie willkürlich, sie dazu zu bringen, ihn ein wenig zu erweitern. Fragen Sie sie, ob ihre Überzeugung wie eine Gammaverteilung aussieht. Sie müssen wahrscheinlich eine Gammaverteilung für sie zeichnen und zeigen, wie es schwere Schwänze haben kann, wenn der Formparameter klein ist. Dazu gehört auch, dass erklärt wird, was ein PDF für sie ist. "(Anmerkung: Ich glaube nicht, dass selbst Statistiker wirklich genau sagen könnena priori, ob sie zu 90% oder zu 95% sicher sind, ob die Effektgröße in einem Bereich liegt, und dieser Unterschied kann einen wesentlichen Einfluss auf die Analyse haben!). Um ehrlich zu sein, ich bin ziemlich unfreundlich und es kann Situationen geben, in denen es etwas einfacher ist, Prioritäten zu setzen. Aber Sie können sehen, wie das eine Dose Würmer ist. Auch wenn Sie zu nicht informativen Prioritäten wechseln, kann dies ein Problem sein. bei der umwandlung von parametern kann das, was man leicht für nicht informative priors hält, plötzlich als sehr informativ angesehen werden! Ein weiteres Beispiel hierfür ist, dass ich mit mehreren Forschern gesprochen habe, die dies unerbittlich nicht tunmöchten hören, wie die Interpretation der Daten durch einen anderen Experten ist, da die anderen Experten empirisch zu zuversichtlich sind. Sie möchten lieber nur wissen, was aus den Daten des anderen Experten abgeleitet werden kann, und dann zu ihrer eigenen Schlussfolgerung kommen. Ich kann mich nicht erinnern, wo ich es gehört habe, aber irgendwo las ich den Satz "Wenn Sie ein Bayesianer sind, möchten Sie, dass jeder ein Frequentist ist". Ich interpretiere das so, dass theoretisch, wenn Sie ein Bayesianer sind und jemand seine Analyseergebnisse beschreibt, Sie zuerst versuchen sollten, den Einfluss seines Vorgängers zu beseitigen und dann herauszufinden, wie sich dies auswirken würde, wenn Sie Ihren eigenen verwendet hätten. Diese kleine Übung würde vereinfacht, wenn sie Ihnen ein Konfidenzintervall anstatt eines glaubwürdigen Intervalls gegeben hätte!

Wenn Sie auf informative Prioritäten verzichten, ist die Bayes'sche Analyse natürlich immer noch nützlich. Ich persönlich glaube, hier liegt der höchste Nutzen. Es gibt einige Probleme, die bei der Verwendung von MLE-Methoden nur sehr schwer zu lösen sind, aber mit MCMC recht einfach gelöst werden können. Aber meine Ansicht, dass dies Bayesians höchster Nutzen ist, beruht auf starken Prioren von meiner Seite, also nimm es mit einem Körnchen Salz.

Einige konkrete Vorteile der frequentistischen Statistik:

• Es gibt häufig geschlossene Lösungen für häufig auftretende Probleme, während Sie ein Konjugat benötigen, um eine geschlossene Lösung im Bayes'schen Analogon zu erhalten. Dies ist aus mehreren Gründen nützlich - einer davon ist die Rechenzeit.
• Ein Grund, der hoffentlich irgendwann verschwindet: Laien werden in der Statistik der Frequentisten geschult. Wenn Sie von vielen verstanden werden wollen, müssen Sie häufig sprechen.
• Ein Null-Hypothese-Signifikanz-Test (NHST) -Ansatz "Unschuldig bis nachweislich schuldig" ist nützlich, wenn das Ziel darin besteht, jemanden zu beweisen, der Unrecht hat (ich gehe von Ihrem Recht aus und zeige, dass die Daten überwältigend dafür sprechen, dass Sie Unrecht haben). Ja, es gibt NHST-Analoga auf Bayesianisch, aber ich finde die Frequentist-Versionen viel einfacher und interpretierbarer.
• Es gibt nicht so etwas wie ein wirklich uninformativ vor , die manche Menschen unangenehm macht.

Der wichtigste Grund für die Verwendung von Frequentist-Ansätzen, der überraschenderweise noch nicht erwähnt wurde, ist die Fehlerkontrolle. Sehr oft führt die Forschung zu dichotomen Interpretationen (sollte ich darauf aufbauen oder nicht? Sollte eine Intervention durchgeführt werden oder nicht?). Frequentistische Ansätze ermöglichen Ihnen eine strikte Kontrolle Ihrer Typ 1-Fehlerrate. Bayes'sche Ansätze nicht (obwohl einige die universelle Bindung von Likelihood-Ansätzen übernehmen, können die Fehlerraten in kleinen Stichproben und mit relativ niedrigen Evidenzschwellen (z. B. BF> 3) recht hoch sein. Sie können die Frequentist-Eigenschaften von untersuchen Bayes-Faktoren (siehe z. B. http://papers.ssrn.com/sol3/papers.cfm?abstract_id=2604513), aber das ist immer noch ein häufiger Ansatz. Ich denke sehr oft, dass sich Forscher mehr mit Fehlerkontrolle beschäftigen als mit der Quantifizierung von Beweisen an sich (relativ zu einer bestimmten Hypothese), und ich denke zumindest, dass sich jeder in gewissem Maße für Fehlerkontrolle interessiert, und daher sollten die beiden Ansätze verwendet werden ergänzend.

Ich denke, eine der größten Fragen, die Sie sich als Statistiker stellen müssen, ist, ob Sie an das Wahrscheinlichkeitsprinzip glauben oder daran festhalten wollen. Wenn Sie nicht an das Wahrscheinlichkeitsprinzip glauben, denke ich, dass das häufig vorkommende statistische Paradigma äußerst mächtig sein kann. Wenn Sie jedoch an das Wahrscheinlichkeitsprinzip glauben, dann müssen Sie (wie ich glaube) mit Sicherheit das Bayes'sche Paradigma in oder vertreten es nicht zu verletzen.

---

Für den Fall, dass Sie damit nicht vertraut sind, lautet das Likelihood-Prinzip wie folgt:

Das Likelihood-Prinzip : Beim Treffen von Schlussfolgerungen oder Entscheidungen übernachdem einige Datenbeobachtet wurden, sind alle relevanten experimentellen Informationen in der Likelihood-Funktion enthalten : wobeiden beobachteten Daten entspricht und somit feststeht.$\theta$$\mathbf{x}$

$$\ell(\theta;\mathbf{x})=p(\mathbf{x}|\theta)$$ $\mathbf{x}$

Wenn und zwei Stichprobenpunkte sind, so dass proportional zu ist, ist dies existiert eine Konstante so dass$\mathbf{x}$$\mathbf{y}$$\ell(\theta;\mathbf{x})$$\ell(\theta;\mathbf{y})$$C(\mathbf{x},\mathbf{y})$

$$\ell(\theta;\mathbf{x})=C(\mathbf{x},\mathbf{y})\ell(\theta;\mathbf{y})\hspace{.1in}\text{for all }\theta,$$

dann sollten die Schlussfolgerungen aus und identisch sein. \$\mathbf{x}$$\mathbf{y}$

Beachten Sie, dass die obige Konstante für verschiedene Paare , jedoch hängt nicht von .$C(\mathbf{x},\mathbf{y})$$(\mathbf{x},\mathbf{y})$$C(\mathbf{x},\mathbf{y})$$\theta$

Im speziellen Fall von besagt das Wahrscheinlichkeitsprinzip, dass zwei Stichprobenpunkte, die dieselbe Wahrscheinlichkeitsfunktion ergeben, dieselben Informationen über . Das Likelihood-Prinzip geht jedoch noch weiter. Es besagt, dass auch wenn zwei Stichprobenpunkte nur proportionale Wahrscheinlichkeiten haben, sie äquivalente Informationen über .$C(\mathbf{x},\mathbf{y})=1$$\theta$$\theta$

---

Nun, eine der Zeichnungen der Bayes'schen Statistik ist, dass das Bayes'sche Paradigma unter angemessenen Voraussetzungen niemals das Wahrscheinlichkeitsprinzip verletzt. Es gibt jedoch sehr einfache Szenarien, in denen das frequentistische Paradigma das Wahrscheinlichkeitsprinzip verletzt.

Hier ist ein sehr einfaches Beispiel basierend auf Hypothesentests. Folgendes berücksichtigen:

Stellen Sie sich ein Experiment vor, bei dem 12 Bernoulli-Versuche durchgeführt und 3 Erfolge beobachtet wurden. Abhängig von der Abbruchregel könnten wir die Daten wie folgt charakterisieren:

• Binomialverteilung: und Daten:$X|\theta\sim\text{Bin}(n=12,\theta)$$x=3$
• Negative Binomialverteilung: und Daten:y = $Y|\theta\sim\text{NegBin}(k=3,\theta)$$y=12$

Und so würden wir die folgenden Wahrscheinlichkeitsfunktionen erhalten: was impliziert, dass und somit sollten wir nach dem Wahrscheinlichkeitsprinzip dieselben Schlussfolgerungen über aus beiden Wahrscheinlichkeiten ziehen.

$$\begin{align} \ell_1(\theta;x=3)&=\binom{12}{3}\theta^3(1-\theta)^9\\ \ell_2(\theta;y=12)&=\binom{11}{2}\theta^3(1-\theta)^9\\ \end{align}$$ $$\ell_1(\theta;x)=C(x,y)\ell_2(\theta,y)$$ $\theta$

Stellen Sie sich nun vor, Sie testen die folgenden Hypothesen aus dem frequentistischen Paradigma

$$H_o:\theta\geq\frac{1}{2}\hspace{.2in}\text{versus}\hspace{.2in}H_a:\theta<\frac{1}{2}$$

Für das Binomialmodell haben wir Folgendes:

$$\begin{align} \text{p-value}&=P\left(X\leq 3|\theta=\frac{1}{2}\right)\\ &=\binom{12}{0}\left(\frac{1}{2}\right)^{12}+\binom{12}{1} \left(\frac{1}{2}\right)^{12}+ \binom{12}{2}\left(\frac{1}{2}\right)^{12}+\binom{12}{3}\left(\frac{1}{2}\right)^{12}=0.0723 \end{align}$$

Beachten Sie, dass aber die anderen Ausdrücke es tun nicht das Wahrscheinlichkeitsprinzip erfüllen.$\binom{12}{3}\left(\frac{1}{2}\right)^{12}=\ell_1(\frac{1}{2};x=3)$

Für das Negative Binomial Modell haben wir folgendes:

$$\begin{align} \text{p-value}&=P\left(Y\geq 12|\theta\frac{1}{2}\right)\\ &=\binom{11}{2}\left(\frac{1}{2}\right)^{12}+\binom{12}{2}\left(\frac{1}{2}\right)^{12}+ \binom{13}{2}\left(\frac{1}{2}\right)^{12}+...=0.0375 \end{align}$$

Aus den obigen p-Wert-Berechnungen sehen wir, dass wir im Binomial-Modell nicht ablehnen würden, aber unter Verwendung des negativen Binomial-Modells würden wir ablehnen . Selbst wenn also , stimmen die p-Werte und die auf diesen p-Werten basierenden Entscheidungen nicht überein. Dieses p-Wert-Argument wird häufig von Bayesianern gegen die Verwendung von frequentistischen p-Werten verwendet.$H_o$$H_o$$\ell_1(\theta;x)\propto\ell_2(\theta;y)$

Betrachten Sie nun noch einmal das Testen der folgenden Hypothesen, aber des Bayes'schen Paradigmas

$$H_o:\theta\geq\frac{1}{2}\hspace{.2in}\text{versus}\hspace{.2in}H_a:\theta<\frac{1}{2}$$

Für das Binomialmodell haben wir Folgendes:

$$\begin{align} P\left(\theta\geq\frac{1}{2}|x\right)=\int_{1/2}^1\pi(\theta|x)dx=\int_{1/2}^1\theta^3(1-\theta)^9\pi(\theta)d\theta \bigg/\int_{0}^1\theta^3(1-\theta)^9\pi(\theta)d\theta \end{align}$$

In ähnlicher Weise haben wir für das Negative Binomial-Modell Folgendes:

$$\begin{align} P\left(\theta\geq\frac{1}{2}|y\right)=\int_{1/2}^1\pi(\theta|x)dx=\int_{1/2}^1\theta^3(1-\theta)^9\pi(\theta)d\theta \bigg/\int_{0}^1\theta^3(1-\theta)^9\pi(\theta)d\theta \end{align}$$

nun unter Verwendung der Bayes'schen Entscheidungsregeln wenn (oder ein anderer Schwellenwert) und wiederholen Sie dies in ähnlicher Weise für .$H_o$$P(\theta\geq\frac{1}{2}|x)>\frac{1}{2}$$y$

Allerdings und so erreichen wir die gleiche Schlussfolgerung und damit dieser Ansatz erfüllt das Likelihood-Prinzip.$P\left(\theta\geq\frac{1}{2}|x\right)=P\left(\theta\geq\frac{1}{2}|y\right)$

---

Und um zum Schluss zu kommen, wenn Sie sich nicht für das Wahrscheinlichkeitsprinzip interessieren, ist es großartig, häufig zu sein! (Wenn Sie nicht sagen können, ich bin ein Bayesianer :))

Sie und ich sind beide Wissenschaftler, und als Wissenschaftler interessieren wir uns hauptsächlich für Beweisfragen. Aus diesem Grund halte ich Bayes-Ansätze für vorzuziehen, wenn dies machbar ist.

Bayesianische Ansätze beantworten unsere Frage: Was ist die Beweiskraft für eine Hypothese gegenüber einer anderen? Frequentistische Ansätze hingegen tun dies nicht: Sie geben nur an, ob die Daten unter der Annahme einer Hypothese seltsam sind.

Das heißt, Andrew Gelman, der bekannte Bayesianer, scheint die Verwendung von p-Werten (oder p-Wert-ähnlichen grafischen Überprüfungen) als Überprüfung auf Fehler in der Modellspezifikation zu befürworten. Sie können eine Anspielung auf diesen Ansatz in diesem Blog-Beitrag sehen .

Sein Ansatz ist meines Erachtens ein zweistufiger Prozess: Zunächst stellt er die Bayes'sche Frage, was die Beweise für ein Modell gegenüber dem anderen sind. Zweitens fragt er den Frequentisten, ob das bevorzugte Modell angesichts der Daten überhaupt plausibel erscheint. Es scheint mir ein vernünftiger hybrider Ansatz zu sein.

Persönlich fällt es mir schwer, mir eine Situation vorzustellen, in der die häufigste Antwort einer bayesianischen vorgezogen wird. Mein Denken wird hier und in anderen Blogartikeln auf fharrell.com über Probleme mit p-Werten und Nullhypothesentests detailliert beschrieben . Frequentisten neigen dazu, einige grundlegende Probleme zu ignorieren. Hier ist nur ein Beispiel:

• Außerhalb des linearen Gauß-Modells mit konstanter Varianz und in einigen anderen Fällen sind die berechneten p-Werte für Ihren Datensatz und Ihr Modell von unbekannter Genauigkeit
• Wenn das Experiment sequentiell oder adaptiv ist, ist es häufig so, dass ein p-Wert nicht einmal berechnet werden kann und man nur ein Gesamt- Niveau einstellen kann , um es zu erreichen$\alpha$
• Frequentisten scheinen froh zu sein, den Fehler vom Typ I nicht unter 0,05 fallen zu lassen, egal wie groß die Stichprobe ist
• Es gibt kein häufiges Rezept dafür, wie Multiplikationskorrekturen gebildet werden, was zu einem Ad-hoc-Hodge-Podge von Methoden führt

Was den ersten Punkt betrifft, so ist ein häufig verwendetes Modell das binäre Logistikmodell. Seine logarithmische Wahrscheinlichkeit ist sehr unquadratisch, und die überwiegende Mehrheit der für solche Modelle berechneten Konfidenzgrenzen und p-Werte ist nicht sehr genau. Vergleichen Sie dies mit dem Bayes'schen Logistikmodell, das genaue Schlussfolgerungen liefert.

Andere haben die Fehlerkontrolle als Grund für die Verwendung der frequentistischen Inferenz genannt. Ich halte dies nicht für logisch, da der Fehler, auf den sie sich beziehen, der langfristige Fehler ist und sich einen Prozess vorstellt, bei dem Tausende statistischer Tests durchgeführt werden. Ein Richter, der sagte "die langfristige Wahrscheinlichkeit einer falschen Verurteilung in meinem Gerichtssaal beträgt nur 0,03", sollte ausgeschlossen werden. Sie wird beschuldigt, die höchste Wahrscheinlichkeit zu haben, die richtige Entscheidung für den gegenwärtigen Angeklagten zu treffen . Andererseits ist Eins minus der hinteren Wahrscheinlichkeit eines Effekts die Wahrscheinlichkeit eines Null- oder Rückwärtseffekts und ist die Fehlerwahrscheinlichkeit, die wir tatsächlich benötigen.

Viele Menschen scheinen sich einer dritten philosophischen Schule nicht bewusst zu sein: Likelihoodism. Das Buch Likelihood von AWF Edwards ist wahrscheinlich der beste Ort, um sich darüber zu informieren. Hier ist ein kurzer Artikel, den er geschrieben hat.
Der Likelihoodismus meidet p-Werte wie der Bayesianismus, aber auch den oft zweifelhaften Prior des Bayesian. Auch hier gibt es eine Intro-Behandlung .

Wie TrynnaDoStats in seinem ersten Punkt feststellte, war einer der größten Nachteile häufig auftretender Ansätze für den Modellbau immer die Herausforderung, große geschlossene Lösungen umzukehren. Die Inversion einer geschlossenen Matrix erfordert, dass sich die gesamte Matrix im RAM befindet. Dies ist eine erhebliche Einschränkung bei Plattformen mit einer einzelnen CPU, die entweder große Datenmengen oder sehr kategoriale Merkmale aufweisen. Bayesianische Methoden konnten diese Herausforderung umgehen, indem sie zufällige Ziehungen von einem bestimmten Vorgänger simulierten. Dies war schon immer eines der größten Verkaufsargumente von Bayes-Lösungen, obwohl Antworten nur zu einem erheblichen Preis in der CPU erhalten werden.

Andrew Ainslie und Ken Train verglichen in einem Artikel von vor ungefähr 10 Jahren, auf den ich keinen Bezug mehr habe, eine endliche Mischung (die häufig oder geschlossen ist) mit Bayes'schen Ansätzen für den Modellbau und stellten fest, dass dies für eine breite Palette von funktionalen Formen gilt und Leistungsmetriken lieferten die beiden Methoden im Wesentlichen äquivalente Ergebnisse. Wo Bayes'sche Lösungen einen Vorteil hatten oder eine größere Flexibilität besaßen, gab es Fälle, in denen die Informationen sowohl spärlich als auch sehr hochdimensional waren.

Allerdings wurde das Papier vor dem geschrieben „Teile und Herrsche“ Algorithmen , die Nutzung der massiv - parallelen Plattformen entwickelt wurden, siehe zB Chen und Minge Papier für mehr über dieses http://dimacs.rutgers.edu/TechnicalReports/TechReports/2012/2012- 01.pdf

Das Aufkommen von D & C-Ansätzen hat dazu geführt, dass Bayes'sche Ansätze selbst für die haarigsten, spärlichsten und höchstdimensionalsten Probleme keinen Vorteil mehr gegenüber den häufigeren Methoden haben. Die beiden Methoden sind paritätisch.

Diese relativ junge Entwicklung ist in jeder Debatte über die praktischen Vor- oder Nachteile beider Methoden erwähnenswert.

Frequentistische Tests konzentrieren sich auf die Verfälschung der Nullhypothese. Das Nullhypothese-Signifikanz-Testen (NHST) kann jedoch auch aus Bayes-Sicht durchgeführt werden, da NHST in jedem Fall einfach eine Berechnung von P (Observed Effect | Effect = 0) ist. Daher ist es schwierig, eine Zeit zu identifizieren, in der NHST aus einer häufigeren Perspektive durchgeführt werden müsste.

Trotzdem ist das beste Argument für die Durchführung von NHST mit einem frequentistischen Ansatz Leichtigkeit und Zugänglichkeit. Den Menschen werden häufigere Statistiken beigebracht. Daher ist es einfacher, ein häufig genutztes NHST zu betreiben, da es viel mehr statistische Pakete gibt, die dies einfach machen. Ebenso ist es einfacher, die Ergebnisse eines häufig auftretenden NHST zu kommunizieren, da die Menschen mit dieser Form des NHST vertraut sind. Ich sehe das als das beste Argument für häufig auftretende Ansätze: Zugang zu Statistikprogrammen, die diese ausführen, und einfache Kommunikation der Ergebnisse an Kollegen. Dies ist jedoch nur kulturell, so dass sich dieses Argument ändern könnte, wenn frequentistische Ansätze ihre Hegemonie verlieren.

Einige Kommentare:

• Der grundlegende Unterschied zwischen dem Bayesianer und dem Frequentist-Statistiker besteht darin, dass der Bayesianer bereit ist, die Wahrscheinlichkeitswerkzeuge auf Situationen auszudehnen, in denen der Frequentist dies nicht tun würde.

  • Insbesondere ist die Bayesianerin bereit, die Wahrscheinlichkeit zu verwenden, um die Unsicherheit in ihrem eigenen Verstand über verschiedene Parameter zu modellieren . Für den Frequentisten sind diese Parameter Skalare (wenngleich Skalare, bei denen der Statistiker den wahren Wert nicht kennt). Für den Bayesian werden verschiedene Parameter als Zufallsvariablen dargestellt! Das ist extrem anders. Die Unsicherheit des Bayesian über die Parameter valeus wird durch einen Prior repräsentiert .

• In der Bayes'schen Statistik besteht die Hoffnung darin, dass nach der Beobachtung der Daten der hintere Teil den Prior überfordert und der Prior keine Rolle spielt. Dies ist jedoch häufig nicht der Fall: Die Ergebnisse können abhängig von der Wahl der Prioritäten sein! Verschiedene Bayesianer mit unterschiedlichen Priors müssen sich nicht auf den Posterior einigen.

Ein wichtiger Punkt, den man berücksichtigen sollte, ist, dass Aussagen des frequentistischen Statistikers Aussagen sind, auf die sich zwei Bayesianer einigen können, unabhängig von ihrer vorherigen Überzeugung!

Der Frequentist äußert sich nicht zu Vor- oder Nachhinein, sondern lediglich zur Wahrscheinlichkeit.

Die Aussagen des frequentistischen Statistikers sind in gewissem Sinne weniger ehrgeizig, aber die mutigeren Aussagen des Bayesianers können sich maßgeblich auf die Zuweisung eines Prior stützen. In Situationen, in denen Prioren eine Rolle spielen und in denen es zu Meinungsverschiedenheiten über Prioren kommt, können die eingeschränkteren, bedingten Aussagen der frequentistischen Statistik auf festerem Boden stehen.

Das Ziel vieler Forschungen besteht nicht darin, eine endgültige Schlussfolgerung zu ziehen, sondern lediglich ein wenig mehr Beweise zu erhalten, um das Gefühl der Community für eine Frage schrittweise in eine Richtung zu lenken .

Bayesianische Statistiken sind unverzichtbar, wenn Sie eine Entscheidung oder Schlussfolgerung im Lichte der verfügbaren Beweise bewerten möchten. Qualitätskontrolle wäre ohne Bayes'sche Statistik nicht möglich. Jedes Verfahren, bei dem Daten erfasst und anschließend verarbeitet werden müssen (Robotik, maschinelles Lernen, Treffen von Geschäftsentscheidungen), profitiert von der Bayes'schen Statistik.

Aber viele Forscher tun das nicht. Sie führen einige Experimente durch, sammeln einige Daten und sagen dann "Die Daten weisen in diese Richtung", ohne sich wirklich zu viele Gedanken darüber zu machen, ob dies angesichts aller Beweise, die andere bisher gesammelt haben , die beste Schlussfolgerung ist. Wissenschaft kann ein langsamer Prozess sein und eine Aussage wie "Die Wahrscheinlichkeit, dass dieses Modell korrekt ist, beträgt 72%!" ist oft verfrüht oder unnötig.

Dies ist auch auf einfache mathematische Weise sinnvoll, da sich häufig herausstellt, dass die frequentistische Statistik mathematisch dem Aktualisierungsschritt einer Bayes'schen Statistik entspricht. Mit anderen Worten, während die Bayes'sche Statistik (Vorgängermodell, Evidenz) → Neues Modell lautet, ist die frequentistische Statistik nur eine Evidenz und überlässt es anderen, die beiden anderen Teile auszufüllen.

Die tatsächliche Ausführung einer Bayes'schen Methode ist technischer als die eines Frequentisten. Mit "technischer" meine ich Dinge wie: 1) die Auswahl der Prioritäten, 2) das Programmieren Ihres Modells in einem BUGS / JAGS / STAN und 3) das Nachdenken über Sampling und Konvergenz.

Offensichtlich ist # 1 per Definition von Bayesian so gut wie nicht optional. Bei einigen Problemen und Vorgehensweisen kann es jedoch zu vernünftigen Standardeinstellungen kommen, die das Problem für den Benutzer etwas verschleiern. (Dies kann aber auch zu Problemen führen!)

Ob # 2 ein Problem ist, hängt von der verwendeten Software ab. Die Bayes'sche Statistik tendiert zu allgemeineren Lösungen als die häufigeren statistischen Methoden, und Tools wie BUGS, JAGS und STAN sind ein natürlicher Ausdruck davon. Es gibt jedoch Bayes'sche Funktionen in verschiedenen Software-Paketen, die wie das typische Verfahren für Frequentisten zu funktionieren scheinen. Dies ist also nicht immer ein Problem. (Und auch die jüngsten Lösungen wie die R - Pakete rstanarmund brmsdiese Lücke überbrücken.) Dennoch Verwendung dieser Tools ist sehr ähnlich wie die Programmierung in einer neuen Sprache.

Punkt 3 ist normalerweise anwendbar, da die Mehrheit der Bayesianischen Anwendungen in der Praxis die MCMC-Abtastung verwenden wird. (Auf der anderen Seite verwenden häufig verwendete MLE-basierte Verfahren eine Optimierung, die möglicherweise zu einem lokalen Minimum konvergiert oder überhaupt nicht konvergiert. Ich frage mich, wie viele Benutzer dies überprüfen sollten und nicht?)

Wie ich in einem Kommentar sagte, bin ich mir nicht sicher, ob die Freiheit von Vorgesetzten tatsächlich ein wissenschaftlicher Vorteil ist. Es ist sicherlich in mehrfacher Hinsicht und an mehreren Punkten des Veröffentlichungsprozesses praktisch, aber ich bin nicht sicher, ob es tatsächlich zu einer besseren Wissenschaft führt. (Und im Großen und Ganzen müssen wir uns alle unserer Vorgesetzten als Wissenschaftler bewusst sein, sonst leiden wir bei unseren Untersuchungen unter allen möglichen Vorurteilen, unabhängig davon, welche statistischen Methoden wir verwenden.)

Konzeptionell : Ich weiß es nicht. Ich glaube, Bayesianische Statistiken sind die logischste Denkweise, aber ich kann nicht rechtfertigen, warum.

Der Vorteil von Frequentisten ist, dass es für die meisten Menschen in der Grundstufe einfacher ist. Aber für mich war es seltsam. Es dauerte Jahre, bis ich wirklich intellektuell klären konnte, was ein Konfidenzintervall ist. Aber als ich anfing, mich mit praktischen Situationen auseinanderzusetzen, schienen die Ideen der Frequentisten einfach und von hoher Relevanz zu sein.

Empirisch

Die wichtigste Frage, auf die ich mich heutzutage konzentrieren möchte, ist die praktische Effizienz: persönliche Arbeitszeit, Präzision und Rechengeschwindigkeit.

Persönliche Arbeitszeit: Bei grundlegenden Fragen verwende ich eigentlich fast nie Bayes'sche Methoden: Ich verwende grundlegende häufig verwendete Tools und bevorzuge immer einen T-Test gegenüber einem Bayes'schen Äquivalent, das mir nur Kopfschmerzen bereitet. Wenn ich wissen will, ob ich deutlich besser als meine Freundin bin, mache ich ein Chi-Quadrat :-). Tatsächlich sind häufig verwendete grundlegende Werkzeuge selbst bei ernsthafter Arbeit als Informatiker von unschätzbarem Wert, um Probleme zu untersuchen und zufällige Folgerungen zu vermeiden.

Präzision: Beim maschinellen Lernen, bei dem Vorhersage wichtiger ist als Analyse, gibt es keine absolute Grenze zwischen Bayesian und Frequentist. MLE ist ein häufiger Befürworter: nur ein Schätzer. Aber regularisiertes MLE (MAP) ist ein teilweise bayesianischer Ansatz : Sie finden den Modus des Seitenzahns und kümmern sich nicht um den Rest des Seitenzahns. Ich kenne keine häufige Rechtfertigung für die Verwendung von Regularisierung. In der Praxis ist die Regularisierung manchmal einfach unvermeidlich, da die rohe MLE-Schätzung so stark angepasst ist, dass 0 ein besserer Prädiktor wäre. Wenn Regularisierung als echte Bayes'sche Methode eingestuft wird, ist dies allein ein Grund dafür, dass Bayes mit weniger Daten lernen kann.

Rechengeschwindigkeit : Frequentistische Methoden sind am häufigsten rechenschneller und einfacher zu implementieren. Und irgendwie bietet Regularisierung eine günstige Möglichkeit, ein bisschen Bayes in sie einzuführen. Dies könnte daran liegen, dass die Bayes'schen Methoden immer noch nicht so optimiert sind, wie sie könnten. Beispielsweise sind einige LDA-Implementierungen heutzutage schnell. Aber sie erforderten sehr harte Arbeit. Für Entropieschätzungen waren die ersten fortgeschrittenen Methoden Bayesian. Sie funktionierten gut, aber bald wurden häufig verwendete Methoden entdeckt, die viel weniger Rechenzeit in Anspruch nehmen ... Für die Rechenzeit sind häufig verwendete Methoden im Allgemeinen eindeutig überlegen. Es ist nicht absurd, wenn Sie Bayesianer sind, sich frequentistische Methoden als Annäherungen an Bayesianische Methoden vorzustellen.

Eine Art von Problem, bei dem ein bestimmter, auf Frequentisten basierender Ansatz im Wesentlichen jeden Bayes'schen dominiert hat, ist die Vorhersage im Fall von M-open.

Was bedeutet M-open?

M-open impliziert, dass das wahre Modell, das die Daten generiert, nicht in der Modellgruppe erscheint, die wir betrachten. Wenn zum Beispiel der wahre Mittelwert von als Funktion von quadratisch ist , wir jedoch nur Modelle mit dem Mittelwert als lineare Funktion von , sind wir im M-offenen Fall. Mit anderen Worten führt eine Modellfehlerspezifikation zu einem M-offenen Fall.$y$$x$$x$

In den meisten Fällen ist dies ein großes Problem für Bayes'sche Analysen. So ziemlich jede Theorie, die ich kenne, beruht auf der korrekten Angabe des Modells. Natürlich sollten wir als kritische Statistiker denken, dass unser Modell immer falsch spezifiziert ist. Das ist ein ziemliches Problem. Der größte Teil unserer Theorie basiert darauf, dass das Modell korrekt ist, aber wir wissen, dass dies niemals der Fall ist. Grundsätzlich drücken wir nur die Daumen in der Hoffnung, dass unser Modell nicht zu falsch ist.

Warum behandeln Frequentist-Methoden dies besser?

Nicht alle. Wenn wir beispielsweise Standard-MLE-Tools zum Erstellen von Standardfehlern oder zum Erstellen von Vorhersageintervallen verwenden, sind wir nicht besser dran als mit Bayes'schen Methoden.

Es gibt jedoch ein bestimmtes Frequentist-Tool, das genau für diesen Zweck vorgesehen ist: die Kreuzvalidierung. Um abzuschätzen, wie gut unser Modell neue Daten vorhersagt, lassen wir hier einfach einige der Daten beim Anpassen des Modells und messen, wie gut unser Modell die unsichtbaren Daten vorhersagt.

Beachten Sie, dass diese Methode der Modellfehlerspezifikation völlig widersprüchlich ist. Sie bietet lediglich eine Methode, mit der abgeschätzt werden kann, wie gut ein Modell neue Daten vorhersagt, unabhängig davon, ob das Modell "korrekt" ist oder nicht.

Ich glaube nicht, dass es zu schwierig ist zu argumentieren, dass dies den Ansatz der Vorhersage-Modellierung, der aus Bayes'scher Sicht schwer zu rechtfertigen ist (vorher soll Vorwissen repräsentieren, bevor Daten angezeigt werden, Likelihood-Funktion ist das Modell usw.), wirklich zu einem ändert Dies ist aus Sicht des Frequentismus sehr einfach zu rechtfertigen (wir haben das Modell und die Regularisierungsparameter ausgewählt, die bei wiederholter Stichprobe zu den besten Stichprobenfehlern führen).

Dies hat die Art und Weise, wie vorausschauende Schlussfolgerungen erstellt werden, völlig revolutioniert. Ich glaube nicht, dass ein Statistiker ein Vorhersagemodell ernsthaft in Betracht ziehen würde (oder sollte), das nicht mit einer Kreuzvalidierung erstellt oder überprüft wurde, wenn es verfügbar ist (dh wir können vernünftigerweise annehmen, dass die Beobachtungen unabhängig sind und nicht versuchen, dies zu berücksichtigen) für Abtastvorspannung usw.).