Angenommen, wir haben eine Funktion so dass und ist eine Verteilung, dh . ∀ x ∈ Z n 2f≤x≤Z n 2 f(x)=1
Die Shannon-Entropie von ist wie folgt definiert: H ( f ) = - ∑ x ∈ Z n 2 f ( x ) log ( f ( x ) ) .
Sei eine Konstante. Angenommen, wir erhalten eine noisy-Version von , dh wir erhalten eine Funktion so dass für jedes . Wie wirkt sich das Rauschen auf die Entropie aus? Das heißt, können wir durch eine "vernünftige" Funktion von und binden , wie zum Beispiel: oder sogar für einige Konstanten .ϵ f ( x ) ˜ f : Z n 2 → R | ˜ f ( x ) - f ( x ) | < ϵ x ∈ Z n 2 H ( ˜ f ) ϵ H ( f ) ( 1 - ϵ ) H ( f ) < H ( ˜ f ) < ( 1
Bearbeiten: Um ein Gefühl für die Auswirkung von Rauschen auf Shannons Entropie zu bekommen, wäre auch jedes "vernünftige" Additiv, das an gebunden ist , sehr interessant.