Warum werden Jeffreys Priors als nicht informativ eingestuft?

Stellen Sie sich einen Jeffreys vor, wo , wo die Fisher-Information ist. $p(\theta) \propto \sqrt{|i(\theta)|}$ $i$

Ich sehe diesen Prior immer wieder als nicht informativen Prior, aber ich habe nie ein Argument dafür gesehen, warum er nicht informativ ist. Immerhin ist es keine Konstante vor, also muss es ein anderes Argument geben.

Ich verstehe, dass es nicht auf Reparametrisierung ankommt, was mich zur nächsten Frage bringt. Ist es so, dass die Determinante der Fisher-Informationen nicht von einer Reparametrisierung abhängt? Denn Fisher-Informationen hängen definitiv von der Parametrisierung des Problems ab.

Vielen Dank.

Hast du den Wikipedia-Artikel gelesen? en.wikipedia.org/wiki/Jeffreys_prior

whuber

Ja, ich hatte dort geschaut. Vielleicht fehlt mir etwas, aber ich glaube nicht, dass der Wikipedia-Artikel eine angemessene Antwort auf meine Fragen gibt.

Bayesian

Siehe auch stats.stackexchange.com/questions/38962/…

Stéphane Laurent

Beachten Sie, dass der Jeffreys-Prior in Bezug auf äquivalente Modelle nicht invariant ist. Beispielsweise unterscheidet sich die Inferenz über einen Parameter bei Verwendung von binomialen oder negativen binomialen Abtastverteilungen. Dies, obwohl die Wahrscheinlichkeitsfunktionen proportional sind und der Parameter in beiden Modellen die gleiche Bedeutung hat.

p

$p$

Wahrscheinlichkeitslogik

Antworten:

Es wird aufgrund der Parametrisierungsinvarianz als nicht informativ angesehen . Sie scheinen den Eindruck zu haben, dass ein einheitlicher (konstanter) Prior nicht aussagekräftig ist. Manchmal ist es, manchmal ist es nicht.

Was mit Jeffreys 'Vorgänger während einer Transformation passiert, ist, dass der Jacobi aus der Transformation in die ursprünglichen Fisher-Informationen hineingezogen wird, was dazu führt, dass Sie die Fisher-Informationen unter der neuen Parametrisierung erhalten. Keine Magie (zumindest in der Mechanik), nur ein wenig Kalkül und lineare Algebra.

JMS
quelle

Ich bin mit dieser Antwort nicht einverstanden. Die Verwendung eines subjektiven Priores ist auch ein parametrisierungsinvariantes Verfahren!

Stéphane Laurent

Der Jeffreys-Prior fällt mit dem Bernardo-Prior für den eindimensionalen Parameterraum (und "reguläre" Modelle) zusammen. Grob gesagt ist dies der Prior, für den die Kullback-Leibler-Divergenz zwischen dem Prior und dem Posterior maximal ist. Diese Menge stellt die Informationsmenge dar, die von den Daten geliefert wird. Aus diesem Grund wird der Prior als nicht informativ angesehen: Dies ist der, für den die Daten die maximale Informationsmenge liefern.

Übrigens weiß ich nicht, ob Jeffreys diese Charakterisierung seines Priors kannte?

Stéphane Laurent
quelle

"Grob gesagt ist dies der Prior, für den die Kullback-Leibler-Divergenz zwischen dem Prior und dem Posterior maximal ist." Interessant, das wusste ich nicht.

Cam.Davidson.Pilon

(+1) Gute Antwort. Es wäre schön, einige Referenzen einiger Ihrer Punkte zu sehen ( z. B. 1 , 2 ).

@Procrastinator Ich schreibe gerade einen neuen Beitrag über nicht informative Prioritäten;) Bitte warten Sie, vielleicht ein paar Tage.

Stéphane Laurent

Ich würde sagen, es ist nicht absolut nicht informativ, aber minimal informativ. Es kodiert das (eher schwache) Vorwissen, dass Sie wissen, dass Ihr Vorwissen nicht von seiner Parametrisierung abhängt (z. B. die Maßeinheiten). Wenn Ihr vorheriger Kenntnisstand genau Null wäre, würden Sie nicht wissen, dass Ihr vorheriger Kenntnisstand solchen Transformationen widerspricht.

Dikran Beuteltier
quelle

Ich bin verwirrt. In welchem Fall würden Sie wissen, dass Sie vorher von der Modellparametrierung abhängen sollten?

John Lawrence Aspden

Wenn wir die Langlebigkeit als Funktion des Körpergewichts unter Verwendung eines GLM vorhersagen möchten, wissen wir, dass die Schlussfolgerung nicht beeinflusst werden sollte, ob wir das Subjekt in kg oder lb wiegen. Wenn Sie eine einfache Uniform vor den Gewichten verwenden, können je nach Maßeinheit unterschiedliche Ergebnisse erzielt werden.

Dikran Marsupial

Das ist ein Fall, wenn Sie wissen, dass es nicht betroffen sein sollte. Was ist ein Fall, in dem es sollte?

John Lawrence Aspden

Ich denke, du vermisst meinen Standpunkt. Nehmen wir an, wir wissen nichts über die Attribute, auch nicht, dass sie Maßeinheiten haben, für die die Analyse unveränderlich sein sollte. In diesem Fall würde Ihr Prior weniger Informationen über das Problem codieren als der Prior des Jeffrey, daher ist der Prior des Jeffrey nicht völlig uninformativ. Das kann oder kann nicht Situationen sein, in denen die Analyse für eine Transformation nicht unveränderlich sein sollte, aber das ist nebensächlich.

Dikran Marsupial

NB Laut dem BUGS-Buch (S. 83) bezeichnete Jeffrey selbst solche transformationsinvarianten Prioritäten als "minimal informativ", was impliziert, dass er sie als Codierung einiger Informationen über das Problem ansah .

Dikran Marsupial