Wer hat den Begriff „empirische Entropie“ geprägt?

Ich kenne Shannons Arbeit mit Entropie, aber in letzter Zeit habe ich an prägnanten Datenstrukturen gearbeitet, in denen empirische Entropie häufig als Teil der Speicheranalyse verwendet wird.

Shannon definierte die Entropie der von einer diskreten Informationsquelle erzeugten Information als , wobei p i die Wahrscheinlichkeit des Auftretens des Ereignisses i ist, z. B. eines bestimmten erzeugten Zeichens, und es gibt k mögliche Ereignisse.$-\sum_{i=1}^k p_i \log{p_i}$$p_i$$i$$k$

Wie von MCH in den Kommentaren ausgeführt, ist die empirische Entropie die Entropie der empirischen Verteilung dieser Ereignisse und ist somit gegeben durch wobeinidie Anzahl der beobachteten Ereignisseiundndie Gesamtzahl der beobachteten Ereignisse ist. Dies wird alsempirische Entropie nullter Ordnung bezeichnet. Shannons Begriff derbedingten Entropiehat eine ähnlicheempirische Versionhöherer Ordnung.$-\sum_{i=1}^k \frac{n_{i}}{n} \log{\frac{n_{i}}{n}}$$n_{i}$$i$$n$

Shannon hat den Begriff empirische Entropie nicht verwendet, obwohl er sicherlich einen Teil der Anerkennung für dieses Konzept verdient. Wer hat diese Idee zuerst verwendet und wer hat zuerst den (sehr logischen) Namen empirische Entropie verwendet , um sie zu beschreiben?

Ich interessiere mich für "empirische Entropie" wie Sie und das früheste Papier, das ich finde, war das von Kosaraju, wie der Benutzer "Marzio De Biasi" in seinem Kommentar sagte.

Aber meiner Meinung nach werden die wirklichen Definitionen der "empirischen Entropie" später durch Verallgemeinerung der früheren Konzepte vorgenommen:

1. "Große Alphabete und Inkompressibilität" von Travis Gagie (2008)
2. "Emprical Entropy" von Paul MB Vitányi (2011)

$k$

• $H_{k}(w)=\frac{1}{|w|}\min\limits_{Q}\left\{\log\large\frac{1}{P(Q=w)}\right\}$

wobei ein Markov-Prozess ter Ordnung ist. Er zeigte auch, dass diese Definition der vorherigen entspricht. Der nächste Schritt von Vitányi war eine Verallgemeinerung auf beliebige Prozessklassen (nicht nur Markov-Prozesse):$Q$$k$

• $H(w|\mathcal{X})=\min\limits_{X}\left\{K(X)+H(X):\;\left|H(X)-\log\large\frac{1}{P(X=w)}\right|\normalsize\;is\;minimal!\right\}$

Dabei ist die Klasse der zulässigen Prozesse und die Kolmogorov-Komplexität. Wenn wir als Klasse der Markov-Prozesse ter Ordnung wählen , wird eine Folge vonZufallsvariablen und das Ignorieren der Kolmogorov-Komplexität führt dann auch zur Definition von Gagie (multipliziert mit ).$\mathcal{X}$$K(X)$
$\mathcal{X}$$k$$|w|$$|w|$