Kanalcodierungsergebnisse unter Verwendung der Kolmogorov-Komplexität

12

Normalerweise wird die Shannon-Entropie verwendet, um die Ergebnisse der Kanalcodierung zu beweisen. Auch für die Trennung von Quellkanälen wird die Shannon-Entropie verwendet. Hat es eine Studie gegeben, um die Komplexität von Kolmogorov für diese Ergebnisse zu nutzen (oder zumindest den Quellcodierungsteil in den Quellkanaltrennungsergebnissen zu ersetzen), da Shannon (global) und Kolmogorov (lokal) gleichwertige Informationen haben?

it.information-theory kolmogorov-complexity shannon-entropy

— vs
quelle

Haben Sie sich die 3. Auflage des Li & Vitanyi-Buches angesehen ? Wenn ich mich nicht irre, wurde das 8. Kapitel des Buches in der neuesten Ausgabe hinzugefügt und enthält ein Kapitel über Informationstheorie. Es werden Shannon-Entropie, gegenseitige Information, Ratenverzerrung usw. im Sinne der Kolmogorov-Komplexität analysiert.

— Juho

Hallo das stimmt Aber es gibt keine Anwendung auf den Satz der verrauschten Codierung von Shannon!

— gegen

8

Bei der Kanalkapazität scheint es schwierig zu sein, die Shannon-Entropie durch die Kolmogorov-Komplexität zu ersetzen. Die Definition der Kanalkapazität enthält keine Erwähnung der Entropie. Die Verwendung der Shannon-Entropie liefert die richtige Formel für die Kanalkapazität (dies ist Shannons Satz). Wenn Sie die Formel durch Shannon-Entropie durch eine Formel mit Kolmogorov-Komplexität ersetzen würden, wäre dies vermutlich eine andere Formel, und daher wäre dies die falsche Antwort .

Wenn Sie eine Zeichenfolge mit Kolmogorov-Komplexität über einen Kanal mit der Kapazität senden möchten, der nur etwas mehr als Kanal verwendet, ist dies sehr einfach. Finden Sie die Beschreibung der Turing-Maschine, die die Saite produziert. Codieren Sie es dann mit einem fehlerkorrigierenden Code, damit diese Beschreibung mit nur geringer Fehlerwahrscheinlichkeit über den verrauschten Kanal gesendet werden kann. $K$ $C$ $K/C$

Der schwierige Teil des Quellkanal-Trennungssatzes zeigt, dass Sie nichts Besseres tun können als die naheliegende Methode (die im vorherigen Absatz beschrieben wurde), zuerst zu komprimieren und dann zu codieren. Ich weiß nicht, ob jemand dies für die Komplexität und Kanalkapazität von Kolmogorov bewiesen hat, aber es ist eine vernünftige Frage, dies zu untersuchen.

— Peter Shor
quelle

Fehlt mir etwas Feines oder folgt es aus der Definition der Kolmogorov-Komplexität? Das heißt, jedes Schema zum Senden der Zeichenfolge mit asymptotisch weniger als

Bits könnte mit konstantem Overhead in ein TM mit einer asymptotisch kleineren Größe als

(dh dem Decoder plus der Nachricht) umgewandelt werden, das die ursprüngliche Zeichenfolge reproduziert.

K

$K$

K

$K$

— USUL

1

C \leq 1

$C \leq 1$

Ω (\log^{*} n)

$\Omega(\log^{*}n)$

n

$n$

\log \log n

$\log\log{n}$

r

$r$

\frac{r}{\log^{*} r}

$\frac{r}{\log^{*}r}$

1

Ich bin nicht sicher, wovon Sie sprechen, wenn Sie die lokalen / globalen Qualifikationsmerkmale für Shannons Entropie und Kolmogorovs Komplexität verwenden.

Korrigiere mich also, wenn ich falsch liege.

Shannons Entropie ist berechenbar. Kolmogorovs Komplexität ist nicht. Daher beschreiben sie nicht dasselbe Problem.

Man konnte Shannons Entropie als obere Grenze von Kolmogrovs Komplexität sehen.

— Phil
quelle

Wie ist die Shannon-Entropie eine Obergrenze? Ich glaube, es ist erwiesen, dass beide gleich sind.

— T ....