Als «it.information-theory» getaggte Fragen

Fragen in der Informationstheorie

13
Informationstheorie zum Nachweis ordentlicher kombinatorischer Aussagen?
Was sind Ihre Lieblingsbeispiele, bei denen die Informationstheorie verwendet wird, um eine übersichtliche kombinatorische Aussage auf einfache Weise zu beweisen? Einige Beispiele, die ich mir vorstellen kann, beziehen sich auf Untergrenzen für lokal dekodierbare Codes, z. B. in diesem Artikel: Nehmen wir an, dass für ein Bündel von Binärzeichenfolgen der …
3
Was ist das Informationsvolumen?
Diese Frage wurde Jeannette Wing nach ihrem PCAST-Vortrag über Informatik gestellt. "Gibt es aus physikalischer Sicht ein maximales Informationsvolumen?" Jenseits von "Was ist Information?" sollte man auch herausfinden, was "volumen" in diesem zusammenhang bedeutet? Vielleicht ist die maximale Informationsdichte ein besseres Maß.
5
Effizient berechenbare Varianten der Kolmogorov-Komplexität
Die Komplexität des Kolmogorov-Präfixes (dh ist die Größe des minimalen selbstbegrenzenden Programms, das ausgibt ) weist mehrere nette Merkmale auf:K(x)K(x)K(x)xxx Es entspricht einer Intuition, Strings mit Mustern oder Strukturen eine geringere Komplexität zu geben als Strings ohne. Es erlaubt uns, die bedingte Komplexität oder besser für ein Orakel .K(x|y)K(x|y)K(x|y)K(x|O)K(x|O)K(x|O)OOO Es …
1
Gute Codes, die von linearen Schaltkreisen decodiert werden können?
Ich suche nach fehlerkorrigierenden Codes des folgenden Typs: Binärcodes mit konstanter Rate, decodierbar aus einem konstanten Bruchteil von Fehlern durch einen Decodierer, der als eine Boolesche Schaltung der Größe implementiert werden kann , wobei die Codierungslänge ist.O(N)O(N)O(N)NNN Einige Hintergrundinformationen: Spielman gab in linear-zeitkodierbaren und dekodierbaren Fehlerkorrekturcodes Codes an , die …
2
Wie gut ist der Huffman-Code, wenn keine großen Wahrscheinlichkeitsbuchstaben vorhanden sind?
Der Huffman-Code für eine Wahrscheinlichkeitsverteilung ist der Präfixcode mit der minimalen gewichteten durchschnittlichen Codewortlänge , wobei die Länge des ten Codeworts ist. Es ist ein bekanntes Theorem, dass die durchschnittliche Länge pro Symbol des Huffman-Codes zwischen und , wobei die Shannon-Entropie ist der Wahrscheinlichkeitsverteilung.ppp∑piℓi∑piℓi\sum p_i \ell_iℓiℓi\ell_iiiiH(p)H(p)H(p)H(p)+1H(p)+1H(p)+1H(p)=−∑ipilog2piH(p)=−∑ipilog2⁡piH(p) = -\sum_i \, p_i …
3
Gibt es einen Zusammenhang zwischen der Diamantnorm und der Entfernung der assoziierten Staaten?
In der Quanteninformationstheorie wird der Abstand zwischen zwei Quantenkanälen häufig mit der Diamantnorm gemessen. Es gibt auch eine Reihe von Möglichkeiten, um den Abstand zwischen zwei Quantenzuständen zu messen, z. B. den Spurabstand, die Wiedergabetreue usw. Der Jamiołkowski-Isomorphismus bietet eine Dualität zwischen Quantenkanälen und Quantenzuständen. Dies ist zumindest für mich …
1
Informationskomplexität von Abfragealgorithmen?
Informationskomplexität war ein sehr nützliches Werkzeug für die Komplexität der Kommunikation, das hauptsächlich dazu diente, die Kommunikationskomplexität verteilter Probleme zu verringern. Gibt es ein Analogon der Informationskomplexität für die Abfragekomplexität? Es gibt viele Parallelen zwischen Abfragekomplexität und Kommunikationskomplexität. Häufig (aber nicht immer!) wird eine Untergrenze in einem Modell in eine …
1
Bloom Filter Hashes: mehr oder größer?
Bei der Implementierung eines Bloom-Filters erfordert der herkömmliche Ansatz mehrere unabhängige Hash-Funktionen. Kirsch und Mitzenmacher haben gezeigt, dass man eigentlich nur zwei braucht und den Rest als Linearkombination daraus erzeugen kann. Meine Frage ist: Was ist der Unterschied zwischen zwei Hash-Funktionen und einer mit der doppelten Entropie? Dies hängt damit …
5
Der Nutzen von Renyi-Entropien?
Die meisten von uns kennen die Shannon-Entropie einer Zufallsvariablen, , und alle damit zusammenhängenden informationstheoretische Maßnahmen wie relative Entropie, gegenseitige Information und so weiter. Es gibt einige andere Entropiemaßnahmen, die üblicherweise in der theoretischen Informatik und der Informationstheorie verwendet werden, beispielsweise die Min-Entropie einer Zufallsvariablen.H(X)=−E[logp(X)]H(X)=−E[log⁡p(X)]H(X) = -\mathbb{E} \bigl[ \log p(X)\bigr] …
4
Ist Eta-Äquivalenz für Funktionen mit Haskells seq-Operation kompatibel?
Lemma: Unter der Annahme einer Eta-Äquivalenz haben wir das (\x -> ⊥) = ⊥ :: A -> B. Beweis: ⊥ = (\x -> ⊥ x)durch Eta-Äquivalenz und (\x -> ⊥ x) = (\x -> ⊥)durch Reduktion unter dem Lambda. Der Haskell 2010-Bericht, Abschnitt 6.2, spezifiziert die seqFunktion durch zwei Gleichungen: …
5
Was ist die Grenze für verlustfreie Komprimierungsdaten? (wenn es eine solche Grenze gibt)
In letzter Zeit habe ich mich mit Komprimierungsalgorithmen befasst und mich gefragt, welches die beste Komprimierungsrate ist, die durch verlustfreie Datenkomprimierung erreicht werden kann. Bisher war die einzige Quelle, die ich zu diesem Thema finden konnte, die Wikipedia: Die verlustfreie Komprimierung von digitalisierten Daten wie Video, digitalisiertem Film und Audio …
5
Warum eliminiert die Huffman-Codierung die Entropie, die Lempel-Ziv nicht hat?
Der beliebte DEFLATE-Algorithmus verwendet Huffman-Codierung über Lempel-Ziv. Wenn wir eine zufällige Datenquelle haben (= 1-Bit-Entropie / Bit), ist es im Allgemeinen wahrscheinlich , dass keine Codierung, einschließlich Huffman, diese im Durchschnitt komprimiert. Wenn Lempel-Ziv "perfekt" wäre (was sich für die meisten Klassen von Quellen annähert, da die Länge unendlich ist), …
1
Entropie und rechnerische Komplexität
Es gibt Forscher, die zeigen, dass das Löschen von Bits Energie verbrauchen muss. Gibt es jetzt Forschungen zum durchschnittlichen Energieverbrauch von Algorithmen mit der Rechenkomplexität ? Ich vermute, die Komplexität von hängt mit dem durchschnittlichen Energieverbrauch zusammen. Ich hoffe, ich kann hier eine Antwort finden.F(n)F(n)F(n)F(n)F(n)F(n)
3
Auf der Entropie einer Summe
Ich bin für eine Schranke für die Entropie H(X+Y)H(X+Y)H(X+Y) aus der Summe zweier unabhängiger diskreten Zufallsvariablen XXX und YYY . Natürlich ist H(X+Y)≤H(X)+H(Y) (∗)H(X+Y)≤H(X)+H(Y) (∗)H(X+Y) \leq H(X) + H(Y) ~~~~~~(*) . Bezogen auf die Summe von nnn unabhängigen Bernoulli-Zufallsvariablen Z1,…,ZnZ1,…,ZnZ_1, \ldots, Z_n ergibt sich jedoch H(Z1+Z2+⋯+Zn)≤nH(Z1)H(Z1+Z2+⋯+Zn)≤nH(Z1) H(Z_1 + Z_2 + …
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.