Beziehung zwischen Entropie und SNR

13

Im Allgemeinen wird jede Form von Enropie als Unsicherheit oder Zufälligkeit definiert. In einer verrauschten Umgebung mit zunehmendem Rauschen glaube ich, dass die Entropie zunimmt, da wir unsicherer über den Informationsgehalt des gewünschten Signals sind. Welche Beziehung besteht zwischen Entropie und SNR? Mit zunehmendem Signal-Rausch-Verhältnis nimmt die Rauschleistung ab, was jedoch nicht bedeutet, dass der Informationsgehalt des Signals zunimmt !! Der Informationsgehalt kann gleich bleiben. Bedeutet das, dass die Entropie nicht beeinflusst wird?

Ria George
quelle

Antworten:

7

Wenn Sie sagen, dass der "Informationsgehalt gleich bleiben kann", meinen Sie dann die Informationen im Gesamtsignal oder die Informationen des gewünschten Signals? Hoffentlich beantwortet dies beide Fälle. Ich kenne die Shannon-Entropie viel besser als Kolmogorov, also werde ich sie verwenden, aber hoffentlich wird die Logik übersetzt.

Angenommen, ist Ihr Gesamtsignal ( X ), das sich aus der Summe Ihres gewünschten Signals S und Ihrer Rauschkomponente N zusammensetzt . Nennen wir die Entropie H . Wie Sie sagten, erhöht Rauschen die Entropie eines Systems, indem es dessen Komplexität erhöht. Dies ist jedoch nicht unbedingt darauf zurückzuführen, dass wir unsicherer über den Informationsgehalt des Signals sind, sondern auch darauf, dass das Signal insgesamt unsicherer ist. Wenn das SNR misst, wie sicher wir sind, von wasX=S+NXSNH ist, dannmisst H ( X ) , wie gut wir zukünftige Zustände von X vorhersagen könnenSH(X)Xbasierend auf dem aktuellen Zustand von X . Bei der Entropie geht es darum, wie komplex das gesamte Signal ist, unabhängig von der Zusammensetzung von Rauschen und Nicht-Rauschen.

Wenn Sie das SNR erhöhen, indem Sie das Rauschen entfernen ( dämpfen ), verringern Sie die Komplexität des Gesamtsignals X und damit dessen Entropie. Sie haben keine Informationen durch von losen S , nur (vermutlich bedeutungslos) Informationen durch N . Wenn N zufälliges Rauschen ist, enthält es offensichtlich keine aussagekräftigen Informationen, aber es sind bestimmte Informationen erforderlich, um N zu beschreibenNXSNNN den Zustand von , der durch die Anzahl der Zustände, in denen N sein kann, und die Wahrscheinlichkeit, dass er vorliegt, bestimmt wird jeder dieser Staaten. Das ist die Entropie.

Wir können zwei Gaußsche Verteilungen mit unterschiedlichen Varianzen betrachten, von denen eine eine Varianz von und die andere eine Varianz von 100 hat . Gerade in der Gleichung für eine Gaußsche Verteilung suchen, sehen wir , dass die V a r = 100 Verteilung eine maximale Wahrscheinlichkeit hat , die nur 11100Var=100 th den Wert derveinr=1distr Wahrscheinlichkeit. Umgekehrt bedeutet dies, dass die Wahrscheinlichkeit größer ist, dassVar=100distr andere Werte als den Mittelwert annimmt, oder dass sicherer ist, dass dieVerteilung vonVar=1Werte nahe dem Mittelwert annimmt. So ist dieVar=1Verteilung hat eine geringere Entropie als dieVar=100Verteilung.110var=1Var=100Var=1Veinr=1Veinr=100

Wir haben festgestellt, dass eine höhere Varianz eine höhere Entropie impliziert. Mit Blick auf die Fehlerausbreitung, ist es auch wahr , daß (gleich für unabhängige X , Y ). Falls X = S + N und dann zur Entropie H , H ( X ) = H ( S + N ) HVeinr(X+Y.)> =Veinr(X)+Veinr(Y.)XYX=S+NHH(X)=H(S+N) . Schon seitHeine Funktion der Varianz ist (indirekt), können wir die Dinge ein wenig zu sagen frisieren . Zur Vereinfachung der , sagen wir , S und N sind unabhängig, so H ( V a r [ X ] ) = H ( V a r [ S ] + V a ] )H(Var[X])=H(Var[S+N])SNH(Var[X])=H(Var[S]+Var[N]) . Verbessertes SNR bedeutet oftmals eine Dämpfung der Rauschleistung. Dieses neue Signal mit höherem SNR ist dann , fürk>1. Entropy dann wirdH(Var[X])=H(Var[S]+(1/k)2*Var[N]). kgrößer als1, so dassVar[N]wird abnehmenwenn N gedämpft wird. WennVaX=S+(1k)Nk>1H(Var[X])=H(Var[S]+(1/k)2Var[N])k1Var[N] nimmt ab, ebenso wie V a r [ S + N ] und daher V a r [ X ] , was zu einer Abnahme von H ( X ) führt .Var[N]Var[S+N]Var[X]H(X)

Nicht sehr präzise, ​​sorry. Kurz gesagt, die Entropie von nimmt ab, wenn Sie das SNR erhöhen, aber Sie haben nichts mit den Informationen von S gemacht . Ich kann die Quellen momentan nicht finden, aber es gibt eine Methode, um SNR und gegenseitige Informationen (ein bivariates Maß, das der Entropie ähnelt) voneinander zu berechnen. Vielleicht ist die wichtigste Erkenntnis, dass SNR und Entropie nicht dasselbe messen.XS

dpbont
quelle
Vielen Dank für die Details. Es wäre wirklich großartig gewesen, wenn eine Referenz für den kleinen Teil der Analyse vorhanden gewesen wäre, den Sie durchgeführt haben, da ich diese Beziehung zwischen Entropie und SNR in einem Artikel und damit das Zitat angeben muss.
Ria George
Meine Analyse ist ziemlich informell; es hängt ein bisschen zu sehr von Intuition / Logik ab, um irgendeine Art von Strenge zu behaupten. Der Schwachpunkt, den ich sofort sehe, ist die Behauptung, dass ein erhöhtes SNR einer verringerten Gesamtvarianz entspricht. Diese Aussage gilt, wenn Sie das SNR durch Dämpfung des Rauschens erhöhen, aber nicht unbedingt, wenn Sie die Signalleistung erhöhen (da dies die Signalvarianz erhöhen könnte ==> Gesamtvarianz ==> Entropie). Es gibt jedoch wahrscheinlich einen anderen Weg, um zu dieser Schlussfolgerung zu gelangen. Ich denke, die Beziehung zwischen MI und SNR kam von Schloegl 2010 "Adaptive Methoden in der BCI-Forschung - Einführungslehrgang"
dpbont
X
Zwei Fragen. 1) Wenn Sie sagen, dass sich das SNR erhöht, meinen Sie dann das SNR des geschätzten Signals? (Ich gehe davon aus.) 2) Was passiert mit Ihrem Fehler, wenn die Entropie des Fehlers zunimmt? Im Allgemeinen bedeutet eine Zunahme der Entropie entweder eine Zunahme der Varianz oder eine Abnahme der Vorhersagbarkeit. Ich könnte mir vielleicht eine Situation vorstellen, in der Ihre Fehlervarianz zunimmt, Sie aber eine Fehlervoreingenommenheit entfernen (was die Fehlerentropie erhöhen, aber den Fehler verringern könnte).
Dpbont
X=S+N I increase the SNR of N and measure entropy H1(X) & H2(error).(2)The errors decreases and all values become more or less equal but not zero.The way I calculate entropy of error is as follows:Considering AR(2) model.At receiver's end,z(t)=X(t)(a1X(t1)+b1X(t2)) where (a1,b1) are guessed parameters & X(t) are observations at a particular SNR of Nsag snr1. Angenommen, ich habe 5 Paare von Vermutungen (a1, b1) und für jedes Paar erhalte ich eine Fehlerentropie.
Ria George
1

Hier ist ein Zitat von [1, p. 186], mit dem Sie, OP oder Googler, anfangen sollen:

Sehr grob H(Anzahl der aktiven Komponenten in Daten)×LogSNR

Hier Hist die negative Entropie der posterioren Verteilung der Parameter Ihres Signalmodells. Viel Glück!

[1] D. Sivia and J. Skilling, Data analysis: a Bayesian tutorial. OUP Oxford, 2006
marnix
quelle