Bayesian vs Maximum Entropie

8

Angenommen, die Menge, auf die wir schließen wollen, ist eine Wahrscheinlichkeitsverteilung. Wir wissen , ist alles , was die Verteilung von einem Satz kommt bestimmt, sagen, von einigen seiner Momente und wir haben ein vorrangiges .E.Q.

Das Maximum-Entropie-Prinzip (MEP) besagt, dass das die geringste relative Entropie von (dh ) ist die beste Auswahl. Während die Bayes'sche Auswahlregel einen Prozess der Auswahl des Seitenzahns unter Berücksichtigung des Prior hat, der durch den Satz von Bayes gestützt wird.P.E.Q.P.=argminP.E.D.(P.Q.)

Meine Frage ist, ob es einen Zusammenhang zwischen diesen beiden Inferenzmethoden gibt (dh ob die beiden Methoden für dasselbe Problem gelten und etwas gemeinsam haben). Oder ob sich die Einstellung in der Bayes'schen Folgerung vollständig von der oben genannten Einstellung unterscheidet? Oder mache ich keinen Sinn?!

Ashok
quelle
Ist Q eine Verteilung über E?
Simon Byrne
Wollen Sie fragen, ist Q.E. ? Muss nicht sein.
Ashok
1
Sie können diese Frage nützlich finden: stats.stackexchange.com/q/4978/495
Simon Byrne
2
Robin, Tatsache ist, dass ich die Bayes'sche Inferenzmethode nicht vollständig kenne. Sonst wäre mir diese Frage nicht einmal gekommen. Jetzt versuche ich Zeit zu finden, um etwas über Bayesian zu lernen. Alles, was ich (ungefähr) wusste, war, dass man die Wahrscheinlichkeiten aktualisieren kann, wenn man den Bayes-Satz verwendet, wenn einige frühere und einige zusätzliche Informationen gegeben werden. Ich weiß das nicht genau. Während ich MaxEnt genau kenne, was es bedeutet. Wenn es möglich ist, erklären oder führen Sie mich bitte (dh geben Sie einen Hinweis), um die Bayes'sche Folgerung rigoros zu lernen. Vielen Dank.
Ashok
1
@Ashok Die häufigste Verbindung, nach der Sie suchen, ergibt sich aus der Beschreibung konvexer Mengen mit einem Wahrscheinlichkeitsmaß an ihren Extrempunkten (Choquet-Theorie).
Robin Girard

Antworten:

6

Dies mag etwas spät kommen, aber die Frage sollte umformuliert werden: Wie von Jaynes definiert , ist die maximale Entropie ein Weg, eine vorherige Verteilung zu konstruieren, die (a) die durch auferlegten Bedingungen erfüllt und (b) die maximale Entropie relativ zu aufweist ein Referenzmaß im kontinuierlichen Fall: Somit ist die maximale Entropie (Jaynes ') eindeutig Teil der Bayes'schen Toolbox. Und der maximale Entropieprior liefert nicht die vorherige Verteilung, die dem wahren Prior am nächsten kommt, wie aus Ashoks Frage hervorgeht.E.

- -Log[π(θ)]]dμ(θ).

Die Bayes'sche Folgerung über eine Verteilung ist ein völlig anderes Problem, das von Bayes'schen Nichtparametern behandelt wird (siehe z. B. dieses kürzlich erschienene Buch von Hjort et al.). Es erfordert Beobachtungen von , was nicht die Einstellung der aktuellen Frage zu sein scheint ...Q.Q.

Xi'an
quelle