Probleme im Zusammenhang mit Entropie


7

Ich bin seit langem mit der Verwirrung in Bezug auf Entropie konfrontiert und wäre verpflichtet, wenn die folgenden Fragen in weniger technischer Fachsprache beantwortet würden. Dem Link folgen Verschiedene Arten von Entropie werfen die folgenden Fragen auf

  1. Entropie - Es ist erwünscht, dass die Entropie des Systems maximiert wird. Das Maximieren der Entropie bedeutet, dass kein Symbol besser ist als die anderen, oder wir wissen nicht, was das nächste Symbol / Ergebnis sein würde. Die Formel gibt jedoch ein negatives Vorzeichen vor der Summierung der Wahrscheinlichkeitslogarithmen an. Das heißt, wir maximieren einen negativen Wert !! Wenn dann ein ursprüngliches Rohsignal quantisiert wird und die Entropie der quantisierten Information berechnet wird und als geringer als die ursprüngliche Entropie befunden wird, würde dies einen Informationsverlust bedeuten. Warum wollen wir also die Entropie maximieren, da dies bedeuten würde, dass wir die Unsicherheit des nächsten Symbols maximieren, während wir sicher sein wollen, wie das nächste Auftreten des Symbols aussehen würde?
  2. Was sind die Unterschiede zwischen Shannons Entropie, topologischer Entropie und Quellenentropie?
  3. Was genau ist die Bedeutung der Kolgomorov-Komplexität oder der Kolgomorov-Entropie? Wie hängt es mit Shannons Entropie zusammen?
  4. Welche Informationen vermitteln gegenseitige Informationen zwischen zwei Vektoren?

Ich würde dieses (kostenlose Online-) Buch wärmstens empfehlen . Kapitel 2 führt die Entropie im richtigen Kontext ein. Das ganze Buch ist ausgezeichnet und begleitet eine Vorlesungsreihe des Autors (David Mackay)
Henry Gomersall

1
Ich werde nur beobachten, dass Entropie eines dieser Themen ist, bei denen es sehr schwierig (aber nicht unmöglich) ist, ein "intuitives" Verständnis davon zu erlangen. Sie kämpfen um einige schwierige Konzepte.
Daniel R Hicks

Antworten:


7

Ich werde versuchen, die Fragen 1 und 4 anzugehen.

1) Entropie - Es ist erwünscht, dass die Entropie des Systems maximiert wird. Das Maximieren der Entropie bedeutet, dass kein Symbol besser ist als die anderen, oder wir wissen nicht, was das nächste Symbol / Ergebnis sein würde. Die Formel gibt jedoch ein negatives Vorzeichen vor der Summierung der Wahrscheinlichkeitslogarithmen an. Das heißt, wir maximieren einen negativen Wert !!

Nein, die Werte der Logarithmen selbst sind negativ, daher macht das negative Vorzeichen sie positiv. Alle Wahrscheinlichkeiten sind eine reelle Zahl von 0 bis einschließlich 1. Das Protokoll von 1 ist Null und das Protokoll von weniger als 1 ist negativ. Dies mag problematisch erscheinen, da das Protokoll von 0 , aber wir versuchen wirklich, den erwarteten Wert dieser Protokolle zu maximieren. Wenn wir also mit der Wahrscheinlichkeit selbst multiplizieren, nähert sich der gesamte Wert 0, nicht . Entropiespitzen, wenn die Wahrscheinlichkeit beträgt .1/2

Warum wollen wir also die Entropie maximieren, da dies bedeuten würde, dass wir die Unsicherheit des nächsten Symbols maximieren, während wir sicher sein wollen, wie das nächste Auftreten des Symbols aussehen würde?

Nein, bei der Übermittlung von Informationen möchten wir absolut NICHT sicher sein, wie das nächste Symbol aussehen wird. Wenn wir sicher sind, welche Informationen werden durch den Empfang gewonnen? Keiner. Nur durch Unsicherheit darüber, was der Sender senden wird, können wir Informationen empfangen.

4) Welche Informationen vermitteln gegenseitige Informationen zwischen zwei Vektoren?

Wenn sich zwei Vektoren gegenseitig informieren, sagt etwas über den einen etwas über den anderen aus. Mathematisch entspricht dies dem folgenden Wissen: Ein Wissen über einen Vektor beeinflusst die Wahrscheinlichkeiten des anderen Vektors. Wenn sie unabhängig wären, wäre dies nicht der Fall.

Ein Beispiel für gegenseitige Information sind digitale Walkie-Talkies. Ein Vektor ist der Bitstrom, den das erste Walkie-Talkie sendet. Der zweite Vektor ist das Signal, das das zweite Walkie-Talkie empfängt. Die beiden sind offensichtlich verwandt, aber aufgrund von Rauschen und unbekannten Kanalbedingungen kann das zweite Walkie-Talkie nicht sicher wissen, was das erste gesendet hat. Es kann einige wirklich gute Vermutungen basierend auf dem Signal anstellen, aber es kann nicht sicher wissen.


Vielen Dank für die wunderbaren Einblicke und Beispiele. Die Antworten auf die restlichen Fragen sind jedoch nicht versucht. Schlagen Sie vor, diese Qs separat zu platzieren?
user1214586

@ user1214586 Sie könnten es mit den anderen beiden erneut versuchen. Sie decken mit diesen Fragen viel Gebiet ab, daher ist es eine Menge Arbeit, einen anständigen Job zu machen und sie alle zu beantworten. Schlimmer noch, es fällt Ihnen schwer, eine Person zu finden, die die Antwort auf alle Fragen kennt. Sie haben aus beiden Gründen einen besseren Schuss, wenn Sie die Frage fokussierter halten.
Jim Clay
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.