Ist ein vager Prior dasselbe wie ein nicht informativer Prior?

27

Dies ist eine Frage zur Terminologie. Ist ein "vager Prior" dasselbe wie ein nicht informativer Prior oder gibt es einen Unterschied zwischen den beiden? Mein Eindruck ist, dass sie gleich sind (von vage und nicht informativ zusammen nachschlagen), aber ich kann nicht sicher sein.

Bayesian
quelle
1
Vage: Ja. Nicht informativ: Nein.
Kardinal

Antworten:

18

Gelman et al. (2003) sagen:

Es besteht seit langem der Wunsch nach Vorverteilungen, bei denen garantiert werden kann, dass sie bei der posterioren Verteilung eine minimale Rolle spielen. Solche Verteilungen werden manchmal als "frühere Referenzverteilungen" bezeichnet, und die frühere Dichte wird als vage, flach oder nicht informativ beschrieben .

Basierend auf meiner Lektüre der Diskussion von Jeffreys 'Vorrede in Gelman et al. (2003, S.62ff., Es besteht kein Konsens über die Existenz eines wirklich nicht informativen Priors und dass ausreichend vage / flache / diffuse Priors ausreichend sind.

Einige der Punkte, die sie machen:

  1. Alle früheren Versionen enthalten Informationen, einschließlich früherer Versionen, die besagen, dass keine Informationen bekannt sind.
    • Wenn wir zum Beispiel wissen, dass wir nichts über den fraglichen Parameter wissen, dann wissen wir etwas darüber.
  2. In den meisten angewandten Kontexten gibt es keinen klaren Vorteil für einen wirklich nicht informativen Prior, wenn ausreichend vage Prioritäten ausreichen, und in vielen Fällen gibt es Vorteile - wie das Finden eines richtigen Prioritätswerts - für die Verwendung einer vagen Parametrisierung eines konjugierten Prioritätswerts.
  3. Jeffreys Prinzip kann nützlich sein, um Prioritäten zu konstruieren, die den Informationsgehalt von Fisher in univariaten Modellen minimieren. Für den multivariaten Fall gibt es jedoch kein Analogon
  4. Beim Vergleich von Modellen variiert die Priorität von Jeffreys mit der Wahrscheinlichkeitsverteilung, sodass sich auch die Prioritäten ändern müssten
  5. Es gab im Allgemeinen viele Debatten darüber, ob es überhaupt einen nicht informativen Prior gibt (wegen 1, siehe aber auch Diskussion und Verweise auf Seite 66 in Gelman et al. für die Geschichte dieser Debatte).

Beachten Sie, dass dies Community-Wiki ist. Die zugrunde liegende Theorie ist an den Grenzen meines Verständnisses und ich würde mich über Beiträge zu dieser Antwort freuen.

Gelman et al. 2003 Bayesian Data Analysis, Chapman und Hall / CRC

David
quelle
1
Gelman selbst ist über "nicht informative" Prioritäten hinausgegangen, siehe z . Diese Haltung scheint bei angewandten Statistikern immer häufiger vorzukommen.
JMS
@ JMS Gelman et. al. 2003 machte diesen Punkt, und ich habe versucht, es zusammenzufassen, scheinen sie die nicht-
informativen Prioritäten
Ja, ein Lehrbuch über Bayesianische Statistiken kann sie sicherlich nicht ignorieren. Ich wollte nur hinzufügen, dass der Trend in der angewandten Statistik seitdem darin bestand, von diesen traditionellen Entscheidungen abzuweichen, obwohl die Arbeit an "objektiven Bayes"
JMS
Ich denke, die Leute tendieren dazu, Informationen auf zwei Arten zu verwenden, wenn sie Prioritäten beschreiben, im informellen Sinne und im informationstheoretischen Sinne. Sie könnten also eine maximale Entropie vorsehen, die im informationstheoretischen Sinne so wenig Informationen wie möglich enthält. Wenn Sie diese Distribution verwenden, signalisieren Sie (möglicherweise), dass Sie "nichts über den Parameter wissen". Dies könnte in einem informelleren Sinne sehr informativ sein ...
Rasmus Bååth
9

Auf keinen Fall, obwohl sie häufig synonym verwendet werden. Eine vage Priorisierung (relativ uninformiert, wobei einige Werte nicht wirklich gegenüber anderen bevorzugt werden) eines Parameters kann tatsächlich eine sehr informative Priorisierung einer anderen Transformation induzieren . Dies ist zumindest ein Teil der Motivation für Jeffreys 'Prior, der ursprünglich so wenig informativ wie möglich konstruiert wurde.θf(θ)

Vage Prioren können auch ein paar ziemlich elende Dinge mit Ihrem Modell anstellen. Das jetzt klassische Beispiel verwendet als prior für Varianzkomponenten in einem hierarchischen Modell.ichnverseGeinmmein(ϵ,ϵ)ϵ0

Die unzulässige Begrenzung vor gibt in diesem Fall eine unzulässige hintere. Eine beliebte Alternative war, so klein wie möglich zu halten, was dazu führt, dass ein Prior auf fast einheitlich aussieht . Es kommt aber auch zu einem fast unsachgemäßen Seitenzahn, Modellanpassungen und Rückschlüssen. Eine vollständige Darstellung finden Sie unter Gelmans Prior-Verteilungen für Varianzparameter in hierarchischen Modellen .ϵR+

Edit: @csgillespie (zu Recht!) Weist darauf hin, dass ich Ihre Frage nicht vollständig beantwortet habe. Meines Erachtens ist ein nicht informativer Prior vage in dem Sinne, dass er einen Bereich des Parameterraums nicht gegenüber einem anderen besonders bevorzugt, aber dabei keine informativen Prioritäten für andere Parameter induzieren sollte. Ein nicht informativer Prior ist also vage, aber ein vager Prior ist nicht unbedingt nicht informativ. Ein Beispiel, bei dem dies ins Spiel kommt, ist die Bayes'sche Variablenauswahl. Ein "vager" Vorrang vor den Einschlusswahrscheinlichkeiten von Variablen kann tatsächlich einen ziemlich informativen Vorrang vor der Gesamtzahl der im Modell enthaltenen Variablen auslösen!

Es scheint mir, dass die Suche nach wirklich nicht-informativen Prioren quixotisch ist (obwohl viele anderer Meinung wären); Es ist besser, so genannte "schwach" informative Prioritäten zu verwenden (die, nehme ich an, im Allgemeinen in gewissem Sinne vage sind). Wirklich, wie oft wissen wir nichts über den fraglichen Parameter?

JMS
quelle
Ihre Antwort ist sehr nett, aber Sie geben nicht an, was ein "nicht informativer Prior" ist und wie er sich von einem "vagen Prior" unterscheidet;)
csgillespie
@ Cgillespie: Sie haben Recht, bearbeitet :)
JMS
ausgehend von Ihrem letzten Absatz und untermauert den quixotischen Charakter der Suche: Wenn wir wissen, dass wir nichts über den fraglichen Parameter wissen, dann wissen wir etwas darüber.
David LeBauer
Ziemlich! Die große Ironie ist, dass viele, die so viel Energie darauf verwenden, ihre Wahl des Prior zu überdenken, nicht zweimal darüber nachdenken, bevor sie die Wahrscheinlichkeit ablegen. Eine falsch angegebene Wahrscheinlichkeit kann im Allgemeinen eher zu Problemen führen. Aber das ist eine ganz andere Frage ...
JMS
5

Lambert et al. (2005) werfen die Frage auf "Wie vage ist vage? Eine Simulationsstudie über die Auswirkungen der Verwendung vager vorheriger Verteilungen in MCMC unter Verwendung von WinBUGS ". Sie schreiben: "Wir befürworten nicht die Verwendung des Begriffs" nicht informative Vorabverteilung ", da wir davon ausgehen, dass alle Vorgänger Informationen beisteuern". Ich stimme eher zu, aber ich bin definitiv kein Experte für Bayes'sche Statistiken.

Bernd Weiss
quelle
2
Das stimmt mit meiner subjektiven vorherigen Überzeugung überein, dass es keinen nicht informativen Prior gibt.
Uhr
@onestop bitte erwägen Sie, zu meiner CW-Antwort
beizutragen
ichG(ϵ,ϵ)ϵ0
3

Ich vermute, "vage Prioritäten" bedeuten Prioritäten, von denen bekannt ist, dass sie eine kleine, aber nicht Null-Menge an Wissen in Bezug auf den wahren Wert eines Parameters codieren, wohingegen "nicht informative Prioritäten" völlige Unwissenheit bedeuten würden in Bezug auf den Wert dieses Parameters. Es würde vielleicht verwendet werden, um zu zeigen, dass die Analyse nicht vollständig objektiv war.

Zum Beispiel könnte ein sehr breiter Gauß-Wert eine vage Priorität für einen Parameter sein, bei dem eine nicht informative Priorität einheitlich wäre. Der Gauß'sche Wert wäre auf der Skala des Interesses sehr flach, würde jedoch einen bestimmten Wert ein wenig mehr als jeden anderen bevorzugen (aber dies könnte das Problem mathematisch leichter nachvollziehbar machen).

Dikran Beuteltier
quelle
Das wirft die Frage auf, ob die Uniform wirklich nicht informativ ist. Was wäre das Maximum und das Minimum der nicht informativen Uniform? Wäre der Prior nach der Umstellung auf eine andere Skala nicht informativ?
David LeBauer
1
Einheitliche Prioren sind nicht unbedingt uninformativ und umgekehrt, es hängt von der Art des Problems ab. Ich denke, die Idee eines minimal informativen Prior ist oft realistischer, wenn MAXENT und Transformationsgruppen verwendet werden, um eine vorherige Verteilung zu bestimmen, die die minimale Menge an Informationen enthält, die mit bekannten Einschränkungen vereinbar sind (z. B. sollte der Prior gegenüber der Skalierung unveränderlich sein). Bei vielen Problemen funktionieren unsachgemäße Prioritäten gut, sodass es nicht unbedingt erforderlich ist, ein genau definiertes Minimum und Maximum festzulegen.
Dikran Marsupial
2

Nicht informative Priors haben unterschiedliche Formen. Diese Formen umfassen vage Prioritäten und unangemessene Prioritäten. Ein vager Prior gehört also zu nicht informativen Prioren.

user26652
quelle