Wann sollte man Bootstrap vs. Bayes'sche Technik anwenden?

12

Ich habe ein ziemlich kompliziertes Problem mit der Entscheidungsanalyse, das Zuverlässigkeitstests beinhaltet, und der logische Ansatz (für mich) scheint die Verwendung von MCMC zur Unterstützung einer Bayes'schen Analyse zu beinhalten. Es wurde jedoch vorgeschlagen, einen Bootstrapping-Ansatz zu verwenden. Könnte jemand eine Referenz (oder drei) vorschlagen, die die Verwendung einer der beiden Techniken gegenüber der anderen (auch in bestimmten Situationen) unterstützen könnte? FWIW, ich habe Daten aus mehreren, unterschiedlichen Quellen und Beobachtungen mit wenigen / null Fehlern. Ich habe auch Daten auf Subsystem- und Systemebene.

Es scheint, dass ein Vergleich wie dieser verfügbar sein sollte, aber ich hatte kein Glück bei der Suche nach den üblichen Verdächtigen. Vielen Dank im Voraus für alle Hinweise.

bayesian bootstrap Aengus
quelle
1
Angesichts der Tatsache, dass der klassische Bootstrap als computerimplementierte Maximum-Likelihood-Methode (dh als nicht-bayesianische (Flat-Prior-) Methode) betrachtet werden kann, ist es besser, Ihre Frage in "Wann wird die Technik des Frequentisten angewendet?" Umzuformulieren ? " Hintergrundinformationen zum Bootstrap: stats.stackexchange.com/questions/18469/…
Yevgeny
1
Hmmm..ich denke ich bin anderer Meinung. Hoffentlich schlägt "Bootstrap" speziell die Charakterisierung des Intervalls vor; ein bisschen konzentrierter als nur "Frequentist". Wenigstens "Bootstrap" wird die meisten religiösen Fanatiker in Schach halten. Vielen Dank auch für den Link, aber ich war mit Ihrem vorherigen Kommentar vertraut, bevor ich diesen gepostet habe.
Aengus
1
Lassen Sie mich umformulieren, haben Sie nützliche Vorinformationen oder hat das Problem eine hierarchische (verschachtelte) Struktur? Wenn ja, dann ist eine Bayes'sche Technik wahrscheinlich besser (insbesondere wenn die Anzahl der Modellparameter im Verhältnis zur Menge der verfügbaren Daten groß ist, würde die Schätzung vom "Bayes'schen Schrumpfen" profitieren). Ansonsten ist MLE / Bootstrap ausreichend.
Jewgeni
Ich vermute, ein anderer möglicher Ansatz besteht darin, Modelle mit gemischten Effekten (z. B. mit dem R-Paket lme4) zu verwenden, um die hierarchische Struktur zu modellieren, auf die Sie angespielt haben. Dies würde auch dazu beitragen, die Schätzungen für (hierarchische) Modelle mit einer großen Anzahl von Parametern zu stabilisieren.
Jewgeni
1
Eine Bootstrap-Analyse kann sehr gut als Bayes'sche Analyse angesehen werden. Ihre Frage könnte also fast genauso gut lauten: "Wann sollte der Bootstrap im Vergleich zu einem anderen Bayes'schen Modell verwendet werden?" (Ihre Frage spornte mich an, diese Interpretation des Bootstraps als Bayes'sches Modell aufzuschreiben : sumsar.net/blog/2015/04/… ). In Anbetracht der Frage stimme ich @Yevgeny zu, dass wir wahrscheinlich weitere Informationen zu Ihrem spezifischen Problem benötigen, bevor wir ein Modell empfehlen können.
Rasmus Bååth

Antworten:

15

Nach meinem Dafürhalten weist Ihre Problembeschreibung auf zwei Hauptprobleme hin. Zuerst:

Ich habe eine ziemlich komplizierte Entscheidungsanalyse ...

Angenommen, Sie haben eine Verlustfunktion in der Hand, müssen Sie entscheiden, ob Sie sich für ein häufiges Risiko oder einen späteren erwarteten Verlust interessieren . Mit dem Bootstrap können Sie die Funktionen der Datenverteilung approximieren. Mit den hinteren Proben von MCMC können Sie letztere beurteilen. Aber...

Ich habe auch Daten auf Subsystem- und Systemebene

Diese Daten haben also eine hierarchische Struktur. Der Bayes'sche Ansatz modelliert solche Daten auf sehr natürliche Weise, während der Bootstrap ursprünglich für Daten entworfen wurde, die wie folgt modelliert wurden: Obwohl er auf hierarchische Daten erweitert wurde (siehe Referenzen in der Einleitung dieses Dokuments ), sind solche Ansätze (gemäß der Zusammenfassung von) relativ unterentwickelt dieser Artikel ).

Zusammenfassend lässt sich sagen: Wenn es wirklich um das Risiko eines Frequentisten geht, dass Sie sich Sorgen machen, sind möglicherweise einige Originaluntersuchungen zur Anwendung des Bootstraps auf die Entscheidungstheorie erforderlich. Wenn die Minimierung des posterioren erwarteten Verlusts jedoch natürlicher zu Ihrem Entscheidungsproblem passt, ist Bayes definitiv der richtige Weg.

Cyan
quelle
Danke, ich war keinem von beiden begegnet; der letztere Artikel scheint besonders interessant zu sein.
Aengus
5

Ich habe gelesen, dass der nicht parametrische Bootstrap als Sonderfall eines Bayes'schen Modells mit einem diskreten (sehr) nicht informativen Vorgänger angesehen werden kann, bei dem davon ausgegangen wird, dass die Daten diskret sind und der Bereich von Ihre Zielverteilung wird in Ihrer Stichprobe vollständig beobachtet.

Hier sind zwei Referenzen:

Steve
quelle