Bayes-Faktoren mit unpassenden Prioritäten

Ich habe eine Frage zum Modellvergleich mit Bayes-Faktoren. In vielen Fällen sind Statistiker daran interessiert, einen Bayes'schen Ansatz mit falschen Priors zu verwenden (zum Beispiel einige Jeffreys-Priors und Referenzpriors).

Meine Frage ist, ob es in den Fällen, in denen die posteriore Verteilung der Modellparameter genau definiert ist, gültig ist, Modelle unter Verwendung von Bayes-Faktoren unter Verwendung falscher Prioritäten zu vergleichen.

Als einfaches Beispiel sollten Sie ein normales Modell mit einem logistischen Modell mit Jeffreys Prioritäten vergleichen.

bayesian model-selection prior Jeffrey
quelle

Ein unzulässiger Prior spielt die Rolle eines "nicht informativen Prior". Wenn Sie sich in einer Perspektive ohne vorherige Überzeugung befinden, können Sie einem Modell offensichtlich keine vorherige Wahrscheinlichkeit zuweisen. Es gibt jedoch einige Artikel von Berger und anderen Autoren über den Begriff "intrinsische Bayes-Faktoren"; Das klingt nach Bayes-Faktor bei nicht informativen Prioritäten, aber ich kann nicht mehr sagen, weil ich diese Papiere nie gelesen habe. Es gibt wahrscheinlich auch andere "objektive Bayes'sche Modellauswahl" -Methoden (die Eingabe dieser Begriffe in Google liefert mehrere Artikel von Berger).

Stéphane Laurent

@ StéphaneLaurent Die Interpretation des Prior der Parameter unterscheidet sich von der der vorherigen Wahrscheinlichkeit des Modells. Dies ist aus dem allgemeinen Ausdruck für den Bayes-Faktor ersichtlich. Sie können den Modellen auch einheitliche Prioritäten zuweisen, die vor den Parametern nicht korrekt sind, und sehen, was die Daten Ihnen a posteriori sagen .

Jeffrey

Ich empfehle, Kriterien für die Auswahl des Bayes'schen Modells mit Anwendung auf die Variablenauswahl (AoS, 2012) zu lesen, insbesondere Lemma 1. Grundsätzlich können für nicht häufige Parameter keine falschen Prioritäten verwendet werden.

Antworten:

Nein. Während unsachgemäße Prioritäten unter bestimmten Umständen (aufgrund des Bernstein-von-Mises-Theorems ) für die Parameterschätzung in Ordnung sein können , sind sie aufgrund des sogenannten Marginalisierungsparadoxons ein großes Nein-Nein für den Modellvergleich .

$p_1(x \mid \theta)$ $p_1(\theta)$

p_{1} (x) = \int_{Θ} p_{1} (x ∣ θ) p_{1} (θ) d θ .

$p_1(x) = \int_\Theta p_1(x \mid \theta) p_1(\theta) d \theta .$

$p_1(\theta) \propto 1$ $p_1(x)$

Einige Autoren, insbesondere ET Jaynes, versuchen, dies zu umgehen, indem sie falsche Prioritäten als Grenze einer Folge geeigneter Prioritäten definieren. Dann besteht das Problem darin, dass es möglicherweise zwei verschiedene einschränkende Folgen gibt, die dann unterschiedliche Antworten geben.

Simon Byrne
quelle

Vielen Dank für Ihre Antwort. Das Problem mit den Proportionalitätskonstanten kann vermieden werden, indem für falsche Parameter wie Standort- und Skalierungsparameter, wie in The Bayesian Choice, S. 349 , erwähnt, derselbe falsche Wert verwendet wird. Wenn ich das richtig verstehe, gilt das Marginalisierungsparadox nur für Prioritäten mit a bestimmte Struktur.

Jeffrey

Das Problem wird sein, dass unrealistische Fälle dominieren: Wenn Sie einen einheitlichen Prior für Ihren Standortparameter haben, platzieren Sie das 100-fache des Gewichts auf dem Intervall [100.200], wie Sie es auf [0,1] tun würden (was in lächerlich erscheinen könnte einige Umstände).

Simon Byrne

Aber die Sache ist, dass unangemessene Prioritäten nicht probabilistisch interpretiert werden können. Es gibt kein solches Gewicht, da die probabilistische Interpretation des Prior weg ist, da sie unangemessen ist.

Jeffrey

Es ist nicht probabilistisch, aber es ist immer noch ein Maß, so dass Sie relative Vergleiche anstellen können (dh es gibt das 100-fache der "Masse" im Intervall [100.200] wie bei [0,1]).

Simon Byrne

π (μ, σ) \propto σ^{- 1}

$\pi(\mu,\sigma)\propto \sigma^{-1}$