Ist der Bootstrap in einer Bayes'schen Umgebung unbrauchbar?

7

Soweit ich weiß, ist Bootstrapping in einer Frequentist-Umgebung unglaublich nützlich. In frequentistischen Statistiken: Wir versuchen, langfristige Wahrscheinlichkeiten abzuschätzen. In der Praxis haben wir nicht unendlich viele Proben. Mit dem Bootstrap können wir unendlich viele Re-Samples simulieren. Soweit ich weiß, ist dies wahrscheinlich das nützlichste Werkzeug in der Statistik der Frequentisten.

Ist das Bootstrapping-Verfahren für einen Bayesianer im Wesentlichen nutzlos? Bayesianer verlassen sich nur auf Überzeugungen und durch erneutes Abtasten der Originaldaten: Ich bezweifle, dass sich die Überzeugung ändern würde.

Ist der Bootstrap in der Bayes'schen Statistikschule nutzlos?

Obwohl es einen "Bayesian Bootstrap" gibt, beziehe ich mich speziell auf den Frequentist Bootstrap.

bayesian bootstrap
quelle
Was meinst du, wenn du schreibst "Bayesianer antworten nur auf Überzeugungen"? Bitte erläutern Sie.
Greenparker
Bayesianer interpretieren die Wahrscheinlichkeit als einen Glauben an den Parameter, der aktualisiert werden kann. Frequentisten interpretieren Wahrscheinlichkeit als langfristige Wahrscheinlichkeit über die Zeit.
Bootstrap kann aus Bayes'scher Sicht interpretiert werden, siehe stats.stackexchange.com/questions/71782/… oder sumsar.net/blog/2015/04/…
Tim
2
Bootstrap ist eine Grundform der nichtparametrischen Inferenz. Es kann auch in einem Bayes'schen Rahmen implementiert werden, anstatt nur verwendet zu werden, um auf häufig auftretende Eigenschaften einiger Verfahren zu schließen.
Xi'an

Antworten:

8

Bradley Efron hat darüber geschrieben und kürzlich an einem JRSS-Webinar mit dem Titel Frequentist Accuracy of Bayesian Estimates teilgenommen (hier: http://www.rss.org.uk/RSS/Events/Online_and_virtual_events/Journal_club/Past_Journal_webinars/RSS/Events/ Online_and_virtual_events_sub / Past_Journal_webinars.aspx? Hkey = 5c97f80b-3f97-401b-ad75-2ee6ff5f6c0c ) wo der Diskussionsteilnehmer Andrew Gelman war.

Efron verwendet den parametrischen Bootstrap explizit, um eine "häufig auftretende Standardabweichung einer Bayes'schen Punktschätzung ..." zu entwickeln.

In Ermangelung relevanter Vorerfahrungen beginnen populäre Bayes'sche Schätztechniken normalerweise mit einer Form von "nicht informativer" Vorverteilung, die einen minimalen inferentiellen Einfluss haben soll. Die Bayes-Regel wird immer noch gut aussehende Schätzungen und glaubwürdige Intervalle liefern, aber diesen fehlt die logische Kraft, die erfahrungsbasierten Prioritäten beigemessen wird, und sie bedürfen einer weiteren Begründung. Dieses Papier befasst sich mit der häufigen Bewertung von Bayes-Schätzungen. Es wird eine einfache Formel gezeigt, die die häufig auftretende Standardabweichung einer Bayes'schen Punktschätzung angibt. Dieselben Simulationen, die für die Punktschätzung erforderlich sind, erzeugen auch die Standardabweichung. Exponentielle Familienmodelle vereinfachen die Berechnungen besonders und stellen eine Verbindung zum parametrischen Bootstrap her.

Also, nein, der Bootstrap ist für einen Bayesianer nicht "nutzlos".

Mike Hunter
quelle
8
Da das Ziel darin besteht, die frequentistischen Eigenschaften eines Bayes'schen Verfahrens zu bewerten, ist dies nur für einen Frequentisten nützlich, der ein Bayes'sches Verfahren verwendet.
Xi'an
1
@ Xi'an Das ist eine ziemlich wörtliche, sogar ideologisch motivierte Interpretation des Abstrakten. Überprüfen Sie das Webinar, und beachten Sie, dass Efron und Gelman in ihrer Diskussion mehrere Übereinstimmungen und Übereinstimmungen finden und prüfen, ob Sie Ihre Beobachtung weiterhin unterstützen. Wenn man daran interessiert ist, ein Forschungsproblem gründlich anzusprechen, erscheint es meiner Ansicht nach umsichtig, es unter mehreren ideologieunabhängigen Gesichtspunkten zu beantworten. Wenn ja, sollte die Efron-Metrik nicht nur für einen Frequentisten nützlich sein.
Mike Hunter
5

Erstens scheint Ihre Interpretation der Bayes'schen Statistik etwas restriktiv zu sein. Bayesianische Methoden beruhen nicht notwendigerweise auf Glauben, z. B. betrachten objektive Bayesianer den Prior als Katalysator, der benötigt wird, um die Parameterverteilung auszudrücken, die die Daten beobachtet hat.

Zweitens, wenn Glaube verfügbar ist, hängt er nicht mit den Beobachtungen zusammen. Der Prior ist per Definition unabhängig von den beobachteten Daten, und ich denke, dass Sie die Bedeutung der posterioren Verteilung falsch interpretieren, wenn Sie sagen "Bayesianer verlassen sich nur auf Überzeugungen und indem Sie die Originaldaten neu abtasten: Ich bezweifle, dass sich der Glaube ändern würde".

Schließlich kann Bootstrap verwendet werden, um bestimmte Arten von posterioren Verteilungen abzuschätzen. Die Antwort Ist es möglich, den Bootstrap aus einer Bayes'schen Perspektive zu interpretieren? gibt Ihnen die Details, aber hier ist ein Auszug aus der Antwort:

Daher könnten wir uns die Bootstrap-Verteilung als Bayes posterior eines „armen Mannes“ vorstellen. Durch die Störung der Daten nähert sich der Bootstrap dem Bayes'schen Effekt der Störung der Parameter an und ist typischerweise viel einfacher durchzuführen.

peuhp
quelle