Als «information-theory» getaggte Fragen

Fragen zur Informationstheorie, Entropie und zum Informationsgehalt verschiedener Quellen

8
Ist Morsecode ohne Leerzeichen eindeutig entschlüsselbar?
Sind alle Morse-Code-Zeichenfolgen eindeutig entschlüsselbar? Ohne die Räume, ......-...-..---.-----.-..-..-.. könnte sein, Hello Worldaber vielleicht ist der erste Buchstabe ein 5- in der Tat sieht es sehr unwahrscheinlich aus, dass eine willkürliche Folge von Punkten und Strichen eine eindeutige Übersetzung haben sollte. Man könnte möglicherweise die Kraft-Ungleichung verwenden, aber das gilt …
2
Simulation einer Wahrscheinlichkeit von 1 von 2 ^ N mit weniger als N Zufallsbits
Angenommen, ich muss die folgende diskrete Verteilung simulieren: P(X=k)={12N,1−12N,if k=1if k=0P(X=k)={12N,if k=11−12N,if k=0 P(X = k) = \begin{cases} \frac{1}{2^N}, & \text{if $k = 1$} \\ 1 - \frac{1}{2^N}, & \text{if $k = 0$} \end{cases} Der naheliegendste Weg ist, zufällige Bits zu zeichnen und zu prüfen, ob alle gleich (oder ) …
6
Effiziente Komprimierung einfacher Binärdaten
Ich habe eine Datei mit bestellten Binärzahlen von bis 2 n - 1 :0002n- 12n−12^n - 1 0000000000 0000000001 0000000010 0000000011 0000000100 ... 1111111111 7z hat diese Datei nicht sehr effizient komprimiert (für n = 20 wurden 22 MB auf 300 kB komprimiert). Gibt es Algorithmen, die sehr einfache Datenstrukturen …
5
Datenkomprimierung mit Primzahlen
Ich bin kürzlich auf den folgenden interessanten Artikel gestoßen, der behauptet, zufällige Datensätze unabhängig von Art und Format der Daten immer um mehr als 50% effizient zu komprimieren. Grundsätzlich werden Primzahlen verwendet, um eine eindeutige Darstellung von 4-Byte-Datenblöcken zu erstellen, die sich leicht dekomprimieren lassen, da jede Zahl ein eindeutiges …
2
Was ist schwieriger: Ein sortiertes Deck mischen oder ein gemischtes Deck sortieren?
Sie haben ein Array von verschiedenen Elementen. Sie haben Zugriff auf einen Komparator (eine Black-Box-Funktion, die zwei Elemente und und true zurückgibt, falls ) und eine wirklich zufällige Quelle von Bits (eine Black-Box-Funktion, die keine Argumente verwendet und ein unabhängig einheitlich zufälliges Bit zurückgibt). Betrachten Sie die folgenden zwei Aufgaben:a …
4
Können Daten auf eine Größe komprimiert werden, die kleiner als das Shannon-Datenkomprimierungslimit ist?
Ich las über Datenkomprimierungsalgorithmen und die theoretische Grenze für die Datenkomprimierung. Kürzlich bin ich auf eine Komprimierungsmethode mit dem Namen "Combinatorial Entropy Encoding" gestoßen. Die Hauptidee dieser Methode besteht darin, die Datei als die in der Datei dargestellten Zeichen, ihre Häufigkeiten und den Index dieser durch die Datei dargestellten Zeichenpermutation …
3
Unterschied zwischen "Information" und "Nutzinformation" in der algorithmischen Informationstheorie
Laut Wikipedia : Informellerweise entspricht aus der Sicht der algorithmischen Informationstheorie der Informationsgehalt einer Zeichenkette der Länge der kürzest möglichen in sich geschlossenen Darstellung dieser Zeichenkette. Was ist die analoge informelle rigorose Definition von "nützlichen Informationen"? Warum werden "nützliche Informationen" nicht als das natürlichere oder grundlegendere Konzept angesehen? naiv scheint …
3
Shannon-Entropie von 0,922, 3 verschiedene Werte
Bei einer Reihe von Werten , der Shannon Entropy in Log - Basis zu kommen . Soweit ich weiß, ist die aufgerundete Shannon-Entropie in Basis die minimale Anzahl von Binärbits, um einen einzelnen der Werte darzustellen.AAAAAAAABCAAAAAAAABCAAAAAAAABC2220.9220.9220.922222 Entnommen aus der Einführung auf dieser Wikipedia-Seite: https://en.wikipedia.org/wiki/Entropy_%28information_theory%29 Wie können also drei Werte durch …
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.