Gibt es eine Verwendung für die Menge in der Statistik oder Informationstheorie?

Mit $f$ eine Wahrscheinlichkeitsdichtefunktion (entweder in Bezug auf die Lebesgue oder das Zählmaß) für die Menge bezeichnet $\newcommand{\rd}{\mathrm{d}}$

H_{α} (f) = - \frac{1}{α - 1} \log (\int f^{α} d μ)

$H_\alpha(f) = -\frac{1}{\alpha-1} \log(\textstyle\int f^\alpha \rd \mu)$

α \geq 0

$\alpha \geq 0$

α = 1

$\alpha = 1$

H_{1} (f)

$H_1(f)$

lim_{α \to 1} H_{α} (f)

$\lim_{\alpha \to 1} H_{\alpha}(f)$

H (f)

$H(f)$

Renyi stellte dies in seiner Arbeit vor

A. Renyi, zu Informations- und Entropiemaßnahmen , Proc. 4. Berkeley Symp. auf Math., Stat. und Prob. (1960), S. 547–561.

Das ist nicht nur für die Ideen, sondern auch für den vorbildlichen Ausstellungsstil eine Lektüre wert.

Der Fall ist eine der gebräuchlichsten Entscheidungen für und dieser Sonderfall wird (auch) oft als Renyi-Entropie bezeichnet. Hier sehen wir, dass für eine Zufallsvariable, die mit der Dichte . $\alpha = 2$ $\alpha$

H_{2} (f) = - \log (\int f^{2} d μ) = - \log (E f (X))

$\newcommand{\e}{\mathbb{E}} H_2(f) = - \log( \textstyle\int f^2 \rd \mu ) = -\log( \e f(X) )$

f

$f$

Beachten Sie, dass eine konvexe Funktion ist. Aufgrund der Jensen-Ungleichung gilt also wobei die rechte Seite die Shannon-Entropie bezeichnet. Daher liefert die Renyi-Entropie eine Untergrenze für die Shannon-Entropie und ist in vielen Fällen einfacher zu berechnen. $- \log(x)$

H_{2} (f) = - \log (E f (X)) \leq E (- \log f (X)) = - E \log f (X) = H (f)

$H_2(f) = -\log( \e f(X) ) \leq \e( -\log f(X) ) = - \e \log f(X) = H(f)$

Ein weiterer natürlicher Fall, in dem die Renyi-Entropie auftritt, ist die Betrachtung einer diskreten Zufallsvariablen und einer unabhängigen Kopie . In einigen Szenarien wollen wir die Wahrscheinlichkeit wissen, dass , was durch eine Elementarberechnung $X$ $X^\star$ $X = X^\star$

P (X = X^{⋆}) = \sum_{i = 1}^{\infty} P (X = x_{i}, X^{⋆} = x_{i}) = \sum_{i = 1}^{\infty} P (X = x_{i}) P (X^{⋆} = x_{i}) = e^{- H_{2} (f)} .

$\renewcommand{\Pr}{\mathbb{P}} \Pr(X = X^\star) = \sum_{i=1}^\infty \Pr(X = x_i, X^\star = x_i) = \sum_{i=1}^\infty \Pr(X = x_i) \Pr(X^\star = x_i) = e^{-H_2(f)} .$

Hier bezeichnet die Dichte in Bezug auf das Zählmaß auf dem Wertesatz . $f$ $\Omega = \{x_i: i \in \mathbb{N}\}$

Die (allgemeine) Renyi-Entropie hängt anscheinend auch mit der freien Energie eines Systems im thermischen Gleichgewicht zusammen, obwohl ich persönlich nicht darüber informiert bin. Ein (sehr) aktuelles Papier zu diesem Thema ist

JC Baez, Renyi-Entropie und freie Energie , arXiv [quant-ph] 1101.2098 (Feb. 2011).

Kardinal
quelle

Ich habe tatsächlich die Renyi-Entropie als Ersatz für die Shannon-Entropie verwendet. Es ist schön, eine Bestätigung meiner Intuition zu sehen. Vielen Dank für die aufschlussreiche Antwort.

charles.y.zheng

Viele (aber nicht alle!) Eigenschaften und der Nutzen der Shannon-Entropie ergeben sich aus ihrer Konvexität. Betrachtet man den Aufbau der Grundlagenergebnisse in der Informationstheorie, so hängen diese mehr oder weniger von Jensens Ungleichung ab. In einem gewissen (vagen) Sinne gibt es also nicht zu viel Besonderes an als der besonderen Nichtlinearität, die zu einem Begriff von "Information" führt.

- \log x

$-\log x$

Kardinal

Aha. Insbesondere brauche ich die Eigenschaft, dass die maximale Entropie-Gelenkverteilung, die gegebene

Ränder

Gibt es eine Verwendung für die Menge in der Statistik oder Informationstheorie?

Antworten: