Beziehung zwischen Entropie und SNR

Im Allgemeinen wird jede Form von Enropie als Unsicherheit oder Zufälligkeit definiert. In einer verrauschten Umgebung mit zunehmendem Rauschen glaube ich, dass die Entropie zunimmt, da wir unsicherer über den Informationsgehalt des gewünschten Signals sind. Welche Beziehung besteht zwischen Entropie und SNR? Mit zunehmendem Signal-Rausch-Verhältnis nimmt die Rauschleistung ab, was jedoch nicht bedeutet, dass der Informationsgehalt des Signals zunimmt !! Der Informationsgehalt kann gleich bleiben. Bedeutet das, dass die Entropie nicht beeinflusst wird?

Wenn Sie sagen, dass der "Informationsgehalt gleich bleiben kann", meinen Sie dann die Informationen im Gesamtsignal oder die Informationen des gewünschten Signals? Hoffentlich beantwortet dies beide Fälle. Ich kenne die Shannon-Entropie viel besser als Kolmogorov, also werde ich sie verwenden, aber hoffentlich wird die Logik übersetzt.

Angenommen, ist Ihr Gesamtsignal ( X ), das sich aus der Summe Ihres gewünschten Signals S und Ihrer Rauschkomponente N zusammensetzt . Nennen wir die Entropie H . Wie Sie sagten, erhöht Rauschen die Entropie eines Systems, indem es dessen Komplexität erhöht. Dies ist jedoch nicht unbedingt darauf zurückzuführen, dass wir unsicherer über den Informationsgehalt des Signals sind, sondern auch darauf, dass das Signal insgesamt unsicherer ist. Wenn das SNR misst, wie sicher wir sind, von was$X = S + N$$X$$S$$N$$H$ ist, dannmisst H ( X ) , wie gut wir zukünftige Zustände von X vorhersagen können$S$$H(X)$$X$basierend auf dem aktuellen Zustand von $X$ . Bei der Entropie geht es darum, wie komplex das gesamte Signal ist, unabhängig von der Zusammensetzung von Rauschen und Nicht-Rauschen.

Wenn Sie das SNR erhöhen, indem Sie das Rauschen entfernen ( dämpfen ), verringern Sie die Komplexität des Gesamtsignals X und damit dessen Entropie. Sie haben keine Informationen durch von losen S , nur (vermutlich bedeutungslos) Informationen durch N . Wenn N zufälliges Rauschen ist, enthält es offensichtlich keine aussagekräftigen Informationen, aber es sind bestimmte Informationen erforderlich, um N zu beschreiben$N$$X$$S$$N$$N$$N$ den Zustand von , der durch die Anzahl der Zustände, in denen N sein kann, und die Wahrscheinlichkeit, dass er vorliegt, bestimmt wird jeder dieser Staaten. Das ist die Entropie.

Wir können zwei Gaußsche Verteilungen mit unterschiedlichen Varianzen betrachten, von denen eine eine Varianz von und die andere eine Varianz von 100 hat . Gerade in der Gleichung für eine Gaußsche Verteilung suchen, sehen wir , dass die V a r = 100 Verteilung eine maximale Wahrscheinlichkeit hat , die nur $1$$100$$Var=100$ th den Wert derveinr=1distr Wahrscheinlichkeit. Umgekehrt bedeutet dies, dass die Wahrscheinlichkeit größer ist, dassVar=100distr andere Werte als den Mittelwert annimmt, oder dass sicherer ist, dass dieVerteilung vonVar=1Werte nahe dem Mittelwert annimmt. So ist dieVar=1Verteilung hat eine geringere Entropie als dieVar=100Verteilung.$\frac {1} {10}$$var=1$$Var=100$$Var=1$$Var=1$$Var=100$

Wir haben festgestellt, dass eine höhere Varianz eine höhere Entropie impliziert. Mit Blick auf die Fehlerausbreitung, ist es auch wahr , daß (gleich für unabhängige X , Y ). Falls X = S + N und dann zur Entropie H , H ( X ) = H ( S + N ) $Var(X+Y) >= Var(X) + Var(Y)$$X$$Y$$X = S + N$$H$$H(X) = H(S+N)$ . Schon seit$H$eine Funktion der Varianz ist (indirekt), können wir die Dinge ein wenig zu sagen frisieren . Zur Vereinfachung der , sagen wir , S und N sind unabhängig, so H ( V a r [ X ] ) = H ( V a r [ S ] + V a ] $H(Var[X]) = H(Var[S+N])$$S$$N$$H(Var[X]) = H(Var[S] + Var[N])$ . Verbessertes SNR bedeutet oftmals eine Dämpfung der Rauschleistung. Dieses neue Signal mit höherem SNR ist dann , fürk>1. Entropy dann wirdH(Var[X])=H(Var[S]+(1/k)2*Var[N]). kgrößer als1, so dassVar[N]wird abnehmenwenn N gedämpft wird. WennV$X = S + (\frac {1} {k})N$$k>1$$H(Var[X]) = H(Var[S] + (1/k)^2*Var[N])$$k$$1$$Var[N]$ nimmt ab, ebenso wie V a r [ S + N ] und daher V a r [ X ] , was zu einer Abnahme von H ( X ) führt .$Var[N]$$Var[S+N]$$Var[X]$$H(X)$

Nicht sehr präzise, ​​sorry. Kurz gesagt, die Entropie von nimmt ab, wenn Sie das SNR erhöhen, aber Sie haben nichts mit den Informationen von S gemacht . Ich kann die Quellen momentan nicht finden, aber es gibt eine Methode, um SNR und gegenseitige Informationen (ein bivariates Maß, das der Entropie ähnelt) voneinander zu berechnen. Vielleicht ist die wichtigste Erkenntnis, dass SNR und Entropie nicht dasselbe messen.$X$$S$

Hier ist ein Zitat von [1, p. 186], mit dem Sie, OP oder Googler, anfangen sollen:

Sehr grob $\mathcal{H} \approx \text{(number of active components in data)} \times \log \text{SNR}$

Hier $\mathcal{H}$ist die negative Entropie der posterioren Verteilung der Parameter Ihres Signalmodells. Viel Glück!

[1] D. Sivia and J. Skilling, Data analysis: a Bayesian tutorial. OUP Oxford, 2006