Als «shannon-entropy» getaggte Fragen

Lemma: Unter der Annahme einer Eta-Äquivalenz haben wir das (\x -> ⊥) = ⊥ :: A -> B. Beweis: ⊥ = (\x -> ⊥ x)durch Eta-Äquivalenz und (\x -> ⊥ x) = (\x -> ⊥)durch Reduktion unter dem Lambda. Der Haskell 2010-Bericht, Abschnitt 6.2, spezifiziert die seqFunktion durch zwei Gleichungen:...

Normalerweise wird die Shannon-Entropie verwendet, um die Ergebnisse der Kanalcodierung zu beweisen. Auch für die Trennung von Quellkanälen wird die Shannon-Entropie verwendet. Hat es eine Studie gegeben, um die Komplexität von Kolmogorov für diese Ergebnisse zu nutzen (oder zumindest den...

Ich bin für eine Schranke für die Entropie H(X+Y)H(X+Y)H(X+Y) aus der Summe zweier unabhängiger diskreten Zufallsvariablen XXX und YYY . Natürlich ist H(X+Y)≤H(X)+H(Y)      (∗)H(X+Y)≤H(X)+H(Y)      (∗)H(X+Y) \leq H(X) + H(Y) ~~~~~~(*) . Bezogen auf die Summe von nnn unabhängigen...

Ich kenne Shannons Arbeit mit Entropie, aber in letzter Zeit habe ich an prägnanten Datenstrukturen gearbeitet, in denen empirische Entropie häufig als Teil der Speicheranalyse verwendet wird. Shannon definierte die Entropie der von einer diskreten Informationsquelle erzeugten Information als ,...

Angenommen, ich habe eine Ein-Bit-Zufallsvariable und n sei eine natürliche Zahl. Ich möchte eine Folge von Zufallsvariablen 0 = X 0 , X 1 , … , X n = X stX.∈ { 0 , 1 }X∈{0,1}X \in \{0,1\}nnn0 = X.0, X.1, … , X.n= X.0=X0,X1,…,Xn=X0 = X_0, X_1, \ldots, X_n = X H.( X. | { X. 0, … , X.k} ) = 1 -...