Was ist die maximale Entropiewahrscheinlichkeitsdichtefunktion für eine positive stetige Variable eines gegebenen Mittelwerts und einer gegebenen Standardabweichung?

13

Was ist die maximale Entropieverteilung ? für eine positive stetige Variable angesichts ihres ersten und zweiten Moments?

Zum Beispiel ist eine Gaußsche Verteilung die maximale Entropieverteilung für eine unbegrenzte Variable aufgrund ihres Mittelwerts und ihrer Standardabweichung, und eine Gamma-Verteilung ist die maximale Entropieverteilung für eine positive Variable aufgrund ihres Mittelwerts und des Mittelwerts ihres Logarithmus.

becko
quelle

Antworten:

13

Man kann einfach den Satz von Boltzmann verwenden, der in dem Wikipedia-Artikel steht, auf den Sie verweisen .

Beachten Sie, dass das Angeben des Mittelwerts und der Varianz dem Angeben der ersten beiden Rohmomente entspricht - jedes bestimmt das andere (es ist eigentlich nicht erforderlich, dies aufzurufen, da wir den Satz möglicherweise direkt auf den Mittelwert und die Varianz anwenden, es ist auf diese Weise nur ein wenig einfacher ).

Der Satz legt dann fest, dass die Dichte die Form haben muss:

f(x)=cexp(λ1x+λ2x2) for all x0

λ20λ

Zu meiner Überraschung (da ich es nicht erwartet hätte, als ich diese Antwort startete) scheint dies eine abgeschnittene Normalverteilung zu hinterlassen.

Ich glaube nicht, dass ich dieses Theorem zuvor verwendet habe. Kritik oder hilfreiche Vorschläge zu Dingen, die ich nicht berücksichtigt oder ausgelassen habe, sind daher willkommen.

Glen_b - Setzen Sie Monica wieder ein
quelle
x1/x
1xexp(αxβx2)
7

Ich möchte die Antwort von @ Glen_b expliziter machen. Hier ist eine zusätzliche Antwort, nur weil sie nicht als Kommentar passen würde.

f(x)N(x|1/2λ1/λ2,1/(2λ2))
λ1λ2a1,a2a1=μ,a2=μ2+σ2λ1=μ/σ2,λ2=0.5σ2N(x|μ,σ2)

x>xminλ1,21/cμσ2 -Parameter des abgeschnittenen Gaußschen nicht der Mittelwert und die Varianz der stetigen Variablen sind, mit der Sie begonnen haben. Es kann sogar passieren, dass fürxmichn=0ist der Modus des Gaußschen negativ! Natürlich stimmen alle Zahlen wieder überein, wenn Sie nehmen xmichn-.

Wenn Sie konkrete Werte für haben ein1,ein2können Sie immer noch lösen λ1,2numerisch und stecken Sie die Lösungen in die allgemeine Gleichung und Sie sind fertig! Die Werte vonλ1,2 aus dem unbegrenzten Fall kann ein guter Ausgangspunkt für den numerischen Löser sein.

Diese Frage ist ein Duplikat von /math/598608/what-is-the-maximum-entropy-distribution-for-a-continuous-random-variable-on-0

Fred Schön
quelle