Schätzen Sie die Informationsentropie durch Monte-Carlo-Probenahme

Ich suche nach Methoden, mit denen sich die Informationsentropie einer Verteilung abschätzen lässt, wenn die einzigen praktischen Methoden zur Stichprobe aus dieser Verteilung Monte-Carlo-Methoden sind.

Mein Problem ist dem Standard-Ising-Modell nicht unähnlich, das normalerweise als Einführungsbeispiel für die Metropolis-Hastings-Stichprobe verwendet wird. Ich habe eine Wahrscheinlichkeitsverteilung über eine Gruppe , dh ich habe p ( a ) für jedes a ∈ A . Die Elemente a ∈ A sind kombinatorischer Natur, wie Ising-Zustände, und es gibt eine sehr hohe Anzahl von ihnen. Dies bedeutet, dass ich in der Praxis nie zweimal dieselbe Stichprobe erhalte, wenn ich von dieser Distribution auf einem Computer eine Stichprobe nehme. p ( a ) kann nicht direkt berechnet werden (da der Normalisierungsfaktor nicht bekannt ist), sondern das Verhältnis p ( $A$$p(a)$$a \in A$$a \in A$$p(a)$ ist leicht zu berechnen.$p(a_1)/p(a_2)$

Ich möchte die Informationsentropie dieser Verteilung schätzen,

Alternativ möchte ich die Entropiedifferenz zwischen dieser Verteilung und einer Verteilung schätzen, die durch Beschränken auf eine Teilmenge (und natürlich durch erneutes Normalisieren) erhalten wird.$a\in A_1 \subset A$

Wenn ich verstehe, welche Informationen Ihnen zur Verfügung stehen, ist das, was Sie wollen, nicht möglich: Die Ihnen zur Verfügung stehenden Informationen reichen nicht aus, um die Entropie zu bestimmen. Es reicht nicht einmal aus, die Entropie zu approximieren.

Es hört sich so an, als hätten Sie eine Möglichkeit, aus der Verteilung abzutasten , und Sie haben eine Möglichkeit, das Verhältnis p ( a 1 ) / p ( a 2 ) für jedes Elementpaar a 1 , a 2 zu berechnen , das Sie erhalten haben über Stichproben, aber Sie haben keine anderen Informationen. Wenn ja, ist Ihr Problem nicht lösbar.$p(\cdot)$$p(a_1)/p(a_2)$$a_1,a_2$

Insbesondere können wir ein Paar von Verteilungen finden, die unterschiedliche Entropien aufweisen, die jedoch anhand der Ihnen zur Verfügung stehenden Informationen nicht unterschieden werden können. Betrachten Sie zunächst die gleichmäßige Verteilung auf einem (zufälligen) Satz der Größe . Betrachten Sie als nächstes die gleichmäßige Verteilung auf einem (zufälligen) Satz der Größe 2 300 . Diese haben unterschiedliche Entropien (200 Bit gegenüber 300 Bit). Angesichts der Informationen, die Ihnen zur Verfügung stehen, können Sie jedoch nicht wissen, mit welcher dieser beiden Distributionen Sie arbeiten. Insbesondere ist in beiden Fällen das Verhältnis p ( a 1 ) / p ( a 2$2^{200}$$2^{300}$$p(a_1)/p(a_2)$wird immer genau 1 sein, so dass die Verhältnisse Ihnen nicht helfen, zwischen den beiden Verteilungen zu unterscheiden. Und aufgrund des Geburtstagsparadoxons können Sie so viel probieren, wie Sie möchten, aber Sie werden nie zweimal denselben Wert erhalten (nicht innerhalb Ihres Lebens, außer mit exponentiell geringer Wahrscheinlichkeit), sodass die Werte, die Sie aus der Stichprobe erhalten, genau so aussehen zufällige Punkte und enthalten keine nützlichen Informationen.

Um Ihr Problem zu lösen, müssen Sie etwas mehr wissen. Wenn Sie beispielsweise etwas über die Struktur der Verteilung wissen , können Sie möglicherweise Ihr Problem lösen.$p(\cdot)$

$\Delta F$$\Delta S$$\Delta F$$\Delta \langle E \rangle$$A_1$$A$$E$$A_1$

Hier sind zwei zusätzliche Referenzen zu Algorithmen zur Berechnung der freien Energie:

T. Lelièvre, M. Rousset & G. Stoltz (2010). Freie Energieberechnungen. Imperial College Press. http://doi.org/10.1142/9781848162488

Chipot, C. & Pohorille, A. (2007). Berechnungen der freien Energie. (C. Chipot & amp; A. Pohorille, Hrsg.) (Bd. 86). Berlin, Heidelberg: Springer Berlin Heidelberg. http://doi.org/10.1007/978-3-540-38448-9