Wie kann man auf Prüfer antworten, die nach p-Werten im Bayes'schen Mehrebenenmodell fragen?

Wir wurden von einem Gutachter gebeten, p-Werte anzugeben, um die Modellschätzungen in unserem Bayes'schen Mehrebenenmodell besser zu verstehen. Das Modell ist ein typisches Modell für mehrere Beobachtungen pro Teilnehmer an einem Experiment. Wir haben das Modell mit Stan geschätzt, damit wir problemlos zusätzliche hintere Statistiken erstellen können. Derzeit melden wir (visuell und in Tabellen) die mittlere Schätzung sowie die Quantile 0,025 und 0,975.

Meine bisherige Antwort würde beinhalten:

1. P-Werte stimmen nicht mit Bayes'schen Modellen überein, dh $P(X|\theta) \neq P(\theta|X).$
2. Basierend auf dem posterioren Wert können wir die Wahrscheinlichkeit berechnen, dass Parameter größer (kleiner) als 0 sind. Dies sieht ein bisschen wie ein traditioneller p-Wert aus.

Meine Frage ist, ob dies eine Antwort ist, die einen Rezensenten zufriedenstellen kann oder nur mehr Verwirrung stiftet.

Update 10. Oktober: Wir haben das Papier mit dem Hinweis in der Antwort umgeschrieben. Das Papier wird angenommen, daher möchte ich meinen früheren Kommentar wiederholen, dass dies ein wirklich hilfreicher Rat war!

Zunächst eine kurze Klarstellung: Obwohl die Wahrscheinlichkeit in der Tat nicht posterior ist, stimmen die p-Werte nicht so sehr mit der Bayes'schen Inferenz überein, wie es normalerweise nur eine andere Sache ist, aus allen Gründen, aus denen Konfidenzintervalle mit glaubwürdigen Intervallen übereinstimmen können oder nicht. (Obwohl dies nicht unbedingt eine ganz andere Sache ist, wie die posteriore Vorhersageprüfung zeigt, bei der es sich tatsächlich um p-Werte handelt.)

Ich vermute jedoch, dass dieser Grad an Raffinesse nicht das ist, was der Rezensent im Sinn hat. Ich würde vermuten, dass sie nur "wissen", dass statistische Modelle p-Werte haben sollen, also haben sie danach gefragt. Die Frage bleibt also: Wie soll man antworten?

Wenn 'Prüfer ein X wünscht', habe ich es nützlich gefunden, mir zwei verwandte Fragen zu stellen:

1. Motivation: Was soll X für sie tun?

2. Rationale Rekonstruktion: Was wäre am ähnlichsten klingende vernünftige Sache, die sie sich hätten wünschen können anstelle von X, wenn sie das wollten?

Dann gib ihnen das stattdessen.

Der Vorteil eines ignoranten Rezensenten (der dennoch klug und richtig mit der Zeitung umgeht) ist, dass er selten eine klare Vorstellung davon hat, was er meint, wenn er nach X fragt. Ich bin zufrieden, wenn Sie es stattdessen beantworten.

In Ihrem Fall ist es durchaus möglich, dass der Rezensent eine parallele frequentistische Analyse wünscht, obwohl ich dies bezweifle. Ich denke, Sie möchten mit dem Hinweis des Überprüfers arbeiten, dass p-Werte "das Modell besser verstehen" sollen. Ich denke, Ihre Aufgabe ist es, dies so zu analysieren, dass der Rezensent klug klingt. Vermutlich gab es ein paar folgende Sätze, die feststellten, was aus der Zeitung unklar war. Vielleicht gab es einige für den Prüfer interessante Effekte, die nicht aus Ihren Parameter-Rändern rekonstruiert werden konnten, oder einige Größen, die die Aussagen des Modells zu für ihn interessanten Fällen beleuchten, oder fehlende Zusammenfassungen einzelner Zahlen ...

Wenn Sie diese Bedenken feststellen können, können Sie Ihre Antwort in den folgenden Formularen abschließen (ursprüngliche Anfrage in eckigen Klammern):

"Der Rezensent [fordert einen p-Wert für einen Interaktionsbegriff] hatte Bedenken, dass es aus unserer Darstellung unklar war, wie sich A von B unterscheidet. In Abbildung 2 zeigen wir also ..." oder "Der Rezensent fragte sich [ob wir das ablehnen könnten Hypothese, dass der Effekt von A Null ist] über die Richtung des Effekts von A. Tabelle 3 zeigt, dass dieses Modell eine Wahrscheinlichkeit von 99% ergibt, dass dies negativ ist "oder" der Prüfer fragt sich, ob unser Modell signifikant besser als ein Modell passt nur A enthaltend] wie unser Modell mit einem nur A enthaltenden Modell verglichen wird. Wir sprechen diese Frage an, indem wir es mit ... vergleichen, indem wir DIC verwenden / einen Bayes-Faktor berechnen / unsere Schlussfolgerungen über A zeigen, sind robust gegenüber der Einbeziehung von B "usw.

In jedem Fall gibt es eine enge Übersetzung der ursprünglichen Anfrage und eine Antwort.

Vorsichtsmaßnahmen: Diese Strategie scheint am besten zu funktionieren, wenn der Prüfer ein Sachverständiger mit einem relativ schwachen Verständnis der Statistik ist. Es funktioniert nicht mit dem selbst identifizierten statistisch hoch entwickelten Prüfer, der tatsächlich ein X haben möchte, weil er Xs mag oder in letzter Zeit irgendwo darüber gelesen hat. Ich habe keine Vorschläge für Letzteres.

Schließlich würde ich dringend empfehlen, nichts zu sagen, was auch nur schwach religiös ist, dass Bayes ein anderes Paradigma ist und die Fragen der Rezensenten darin keinen Sinn ergeben. Selbst wenn dies zutrifft, macht es jeden mürrisch, keinen wirklichen Gewinn zu erzielen.