Gute Einführung in verschiedene Arten von Entropie

18

Ich suche nach einem Buch oder einer Online-Ressource, die verschiedene Arten von Entropie wie Sample Entropy und Shannon Entropy sowie deren Vor- und Nachteile erklärt. Kann mich jemand in die richtige Richtung weisen?

references entropy Christian
quelle

9

Cover und Thomas 'Buch Elements of Information Theory ist eine gute Quelle für Entropie und ihre Anwendungen, obwohl ich nicht weiß, dass es genau die Themen behandelt, die Sie im Sinn haben.

Mark Meckes
quelle

4

Auch die Arbeit "Information Theoretic Inequalities" von Dembo Cover und Thomas enthüllt viele tiefe Aspekte

Robin Girard

1

Dennoch behauptet keines dieser Bücher, dass es mehr als eine Entropie gibt.

5

Diese Vorlesungsunterlagen zur Informationstheorie von O. Johnson enthalten eine gute Einführung in verschiedene Arten von Entropie.

Alekk
quelle

4

Wenn Sie sich für die mathematische Statistik rund um die Entropie interessieren, können Sie dieses Buch konsultieren

http://www.renyi.hu/~csiszar/Publications/Information_Theory_and_Statistics:_A_Tutorial.pdf

es ist frei verfügbar!

Robin Girard
quelle

2

Die Entropie ist nur eine (als Konzept) - die Informationsmenge, die benötigt wird, um ein System zu beschreiben; Es gibt nur viele Verallgemeinerungen. Die Probenentropie ist nur ein entropieähnlicher Deskriptor, der bei der Herzfrequenzanalyse verwendet wird.

quelle

Ich weiß, aber das hilft mir nicht bei der Entscheidung, ob die Verwendung von Beispielentropie oder Shannon-Entropie oder einer anderen Art von Entropie für die Daten geeignet ist, mit denen ich arbeite.

Christian

2

Was ich in meinem Beitrag geschrieben habe, ist, dass es für einen bestimmten Datentyp / Prozess / System nur eine wahre Entropiedefinition gibt. Die Beispielentropie ist kein Entropiemaß, sondern nur eine Statistik mit einem verwirrenden Namen. Stellen Sie eine Frage, wo Sie die Daten definieren, für die Sie die Entropie berechnen möchten, und erhalten Sie die Formel.

Ich bin nicht an der Wahrheit interessiert, sondern daran, eine funktionierende Funktion zu bekommen. Ich bin Bioinformatiker und habe gelernt, nicht nach dogmatischen Wahrheiten zu suchen, sondern nach Statistiken, die funktionieren. Ich glaube nicht, dass dort mit der Art von Daten gearbeitet wird, mit der ich arbeiten möchte, um genau zu bestimmen, welche Entropie am besten funktioniert. Das ist genau der Punkt, an dem ich mit den Daten arbeiten möchte.

Christian

2

Richtig, aber das ist keine Diskussion über dogmatische Wahrheiten, sondern über Worte. Sie haben nach Entropie gefragt, also habe ich nach Entropie geantwortet. Da ich jetzt sehe, dass Sie in der Tat eine Antwort zu Zeitreihendeskriptoren benötigen, schreiben Sie eine Frage zu Zeitreihendeskriptoren, nur dann erhalten Sie eine nützliche Antwort.

2

Jaynes zeigt, wie man Shannons Entropie aus den Grundprinzipien in seinem Buch ableitet .

$n!$ $n^n$

\frac{1}{n} Log \frac{n!}{(n p_{1})! \dots (n p_{d})!}

$\frac{1}{n}\log \frac{n!}{(n p_1)!\cdots (n p_d)!}$

$d$ $p$

Jaroslaw Bulatow
quelle

1

ist so eine grobe Näherung von

dass man entschuldigt wäre, diesen Ansatz anzuzweifeln. Allerdings Stirling (asymptotisch) Näherung

führt auch zu dem gewünschten Ergebnis, zumindest für große

n^{n}

$n^n$

n!

$n!$

\log (n!) \sim n \log n - n + O (1)

$\log(n!) \sim n \log n - n + O(1)$

n

$n$

p_{1} + \dots + p_{d} = 1

$p_1 + \cdots+ p_d = 1$

2

In Grünwalds und Dawids Arbeit Spieltheorie, maximale Entropie, minimale Diskrepanz und robuste Bayes'sche Entscheidungstheorie werden Verallgemeinerungen des traditionellen Entropiebegriffs diskutiert. Bei einem Verlust ist die zugehörige Entropiefunktion die Abbildung von einer Verteilung auf den minimal erreichbaren erwarteten Verlust für diese Verteilung. Die übliche Entropiefunktion ist die verallgemeinerte Entropie, die mit dem logarithmischen Verlust verbunden ist. Andere Auswahlmöglichkeiten für Verluste ergeben eine andere Entropie, wie beispielsweise die Rényi-Entropie.

Mark Reid
quelle

1

Sigma ist also die Entropie von N (0, Sigma), die einem quadratischen Fehler entspricht, und min (p, 1-p) ist die Entropie von Bernoulli (p), die einem Vorhersageverlust von 0,1 entspricht. Scheint eine ziemliche Verallgemeinerung zu sein!

Yaroslav Bulatov

Ja. Die Entropie für den quadratischen Verlust ist konstant und die Entropie für den 0-1-Verlust ist min (p, 1-p). Interessant ist auch, dass diese stark mit Divergenzen korrespondieren. Der Quadratverlust zur Hellinger-Divergenz und der 0-1-Verlust zur Variationsdivergenz. Da Entropien wie folgt definiert sind, handelt es sich notwendigerweise um konkave Funktionen, und es zeigt sich die f-Divergenz, die unter Verwendung von f (p) = -entropy (p) gebildet wird. Bob Williamson und ich haben einige davon in unserem Artikel untersucht: arxiv.org/abs/0901.0356 . Es macht Spaß.

Mark Reid

1

Hier ist etwas Interessantes ich Divergenzen vor kurzem gefunden - jeder Schritt Belief Propagation kann als Bregman Projektion betrachtet werden ece.drexel.edu/walsh/Walsh_TIT_10.pdf

Yaroslav Bulatov

Gute Einführung in verschiedene Arten von Entropie

Antworten: