Gibt es eine Verwendung für die Menge in der Statistik oder Informationstheorie?

13

Gibt es eine Verwendung für die Menge in der Statistik oder Informationstheorie?

f(x)2dx
charles.y.zheng
quelle
5
Renyi Entropie
Kardinal
f ist ein pdf, richtig?
Whuber
Ja, f ist eine Dichte.
charles.y.zheng
@ Kardinal Antwort!
@mbq: Ok, ich werde später versuchen, etwas einzutippen, das eine Antwort wert ist. :)
Kardinal

Antworten:

24

Mit f eine Wahrscheinlichkeitsdichtefunktion (entweder in Bezug auf die Lebesgue oder das Zählmaß) für die Menge bezeichnet

Hα(f)=1α1log(fαdμ)
α0α=1H1(f)H ( f )limα1Hα(f)H(f)

Renyi stellte dies in seiner Arbeit vor

A. Renyi, zu Informations- und Entropiemaßnahmen , Proc. 4. Berkeley Symp. auf Math., Stat. und Prob. (1960), S. 547–561.

Das ist nicht nur für die Ideen, sondern auch für den vorbildlichen Ausstellungsstil eine Lektüre wert.

Der Fall ist eine der gebräuchlichsten Entscheidungen für und dieser Sonderfall wird (auch) oft als Renyi-Entropie bezeichnet. Hier sehen wir, dass für eine Zufallsvariable, die mit der Dichte .α H 2 ( f ) = - log ( f 2 d μ ) = - log ( E f ( X ) ) fα=2α

H2(f)=log(f2dμ)=log(Ef(X))
f

Beachten Sie, dass eine konvexe Funktion ist. Aufgrund der Jensen-Ungleichung gilt also wobei die rechte Seite die Shannon-Entropie bezeichnet. Daher liefert die Renyi-Entropie eine Untergrenze für die Shannon-Entropie und ist in vielen Fällen einfacher zu berechnen.H 2 ( f ) = - log ( E f ( X ) ) E ( - log f ( X ) ) = - E log f ( X ) = H ( f )log(x)

H2(f)=log(Ef(X))E(logf(X))=Elogf(X)=H(f)

Ein weiterer natürlicher Fall, in dem die Renyi-Entropie auftritt, ist die Betrachtung einer diskreten Zufallsvariablen und einer unabhängigen Kopie . In einigen Szenarien wollen wir die Wahrscheinlichkeit wissen, dass , was durch eine Elementarberechnung XXX=X

P(X=X)=i=1P(X=xi,X=xi)=i=1P(X=xi)P(X=xi)=eH2(f).

Hier bezeichnet die Dichte in Bezug auf das Zählmaß auf dem Wertesatz .fΩ={xi:iN}

Die (allgemeine) Renyi-Entropie hängt anscheinend auch mit der freien Energie eines Systems im thermischen Gleichgewicht zusammen, obwohl ich persönlich nicht darüber informiert bin. Ein (sehr) aktuelles Papier zu diesem Thema ist

JC Baez, Renyi-Entropie und freie Energie , arXiv [quant-ph] 1101.2098 (Feb. 2011).

Kardinal
quelle
Ich habe tatsächlich die Renyi-Entropie als Ersatz für die Shannon-Entropie verwendet. Es ist schön, eine Bestätigung meiner Intuition zu sehen. Vielen Dank für die aufschlussreiche Antwort.
charles.y.zheng
1
Viele (aber nicht alle!) Eigenschaften und der Nutzen der Shannon-Entropie ergeben sich aus ihrer Konvexität. Betrachtet man den Aufbau der Grundlagenergebnisse in der Informationstheorie, so hängen diese mehr oder weniger von Jensens Ungleichung ab. In einem gewissen (vagen) Sinne gibt es also nicht zu viel Besonderes an als der besonderen Nichtlinearität, die zu einem Begriff von "Information" führt. logx
Kardinal
1
Aha. Insbesondere brauche ich die Eigenschaft, dass die maximale Entropie-Gelenkverteilung, die gegebene
Ränder