Informationstheoretischer zentraler Grenzwertsatz

Die einfachste Form der informationstheoretischen CLT ist die folgende:

Sei iid mit Mittelwert und Varianz . Sei die Dichte der normalisierten Summe und die Standard-Gaußsche Dichte. Dann besagt die informationstheoretische CLT, dass wenn für einige n endlich ist , dann D (f_n \ | \ phi) \ bis 0 als n \ to \ infty .$X_1, X_2,\dots$$0$$1$$f_n$$\frac{\sum_{i=1}^n X_i}{\sqrt{n}}$$\phi$$D(f_n\|\phi)=\int f_n \log(f_n/\phi) dx$$n$$D(f_n\|\phi)\to 0$$n\to \infty$

Sicherlich ist diese Konvergenz in gewissem Sinne "stärker" als die in der Literatur gut etablierten Konvergenzen, Konvergenz in der Verteilung und Konvergenz in $L_1$ Metrik, dank Pinskers Ungleichung $\left(\int |f_n-\phi|\right)^2\le 2\cdot \int f_n \log(f_n/\phi)$ . Das heißt, Konvergenz in der KL-Divergenz impliziert Konvergenz in der Verteilung und Konvergenz in der $L_1$ Entfernung.

Ich möchte zwei Dinge wissen.

1. Was ist so groß , über das Ergebnis $D(f_n\|\phi)\to 0$ ?

2. Ist es nur , weil der Grund im dritten Absatz genannten wir sagen Konvergenz in KL-Divergenz ( dh , $D(f_n\|\phi)\to 0$ ) ist stärker?

NB: Ich habe diese Frage vor einiger Zeit in math.stackexchange gestellt, wo ich keine Antwort bekommen habe.

Eine Sache, die bei diesem Satz großartig ist, ist, dass er Grenzwertsätze in einigen Einstellungen vorschlägt, in denen der übliche zentrale Grenzwertsatz nicht gilt. In Situationen, in denen die maximale Entropieverteilung eine nicht normale Verteilung ist, wie beispielsweise für Verteilungen auf dem Kreis, schlägt dies beispielsweise eine Konvergenz zu einer gleichmäßigen Verteilung vor.

Nachdem ich mich umgesehen hatte, konnte ich kein Beispiel für Konvergenz in der Verteilung ohne Konvergenz in der relativen Entropie finden, daher ist es schwierig, die "Größe" dieses Ergebnisses zu messen.

Für mich sieht es so aus, als würde dieses Ergebnis einfach die relative Entropie von Faltungsprodukten beschreiben. Es wird oft als alternativer Interpretations- und Beweisrahmen des zentralen Grenzwertsatzes angesehen, und ich bin nicht sicher, ob es eine direkte Auswirkung auf die Wahrscheinlichkeitstheorie hat (obwohl dies in der Informationstheorie der Fall ist).

Aus der Informationstheorie und dem zentralen Grenzwertsatz (Seite 19).

Der zweite Hauptsatz der Thermodynamik besagt, dass die thermodynamische Entropie immer mit der Zeit zunimmt, was eine Art Konvergenz zum Gibbs-Zustand impliziert. Energieeinsparung bedeutet, dass während dieser Zeitentwicklung konstant bleibt, sodass wir von Anfang an erkennen können, welcher Gibbs-Zustand die Grenze sein wird. Wir werden den zentralen Grenzwertsatz auf die gleiche Weise betrachten, indem wir zeigen, dass die informationstheoretische Entropie mit Faltungen auf ihr Maximum ansteigt, was eine Konvergenz zum Gaußschen impliziert. Eine angemessene Normalisierung bedeutet, dass die Varianz während der Windungen konstant bleibt, sodass wir von Anfang an erkennen können, welcher Gaußsche Wert die Grenze sein wird.$E$

$D(f_n\|\phi)\rightarrow 0$ sicher, dass es keinen "Abstand" zwischen der Verteilung der Summe der Zufallsvariablen und der Gaußschen Dichte als nur aufgrund der Definition der KL-Divergenz, also ist es der Beweis selbst. Vielleicht habe ich Ihre Frage falsch verstanden.$n\rightarrow\infty$

Über den zweiten Punkt, den Sie festgelegt haben, wird in Ihrem Absatz geantwortet.