Als «entropy» getaggte Fragen

2
Simulation einer Wahrscheinlichkeit von 1 von 2 ^ N mit weniger als N Zufallsbits
Angenommen, ich muss die folgende diskrete Verteilung simulieren: P(X=k)={12N,1−12N,if k=1if k=0P(X=k)={12N,if k=11−12N,if k=0 P(X = k) = \begin{cases} \frac{1}{2^N}, & \text{if $k = 1$} \\ 1 - \frac{1}{2^N}, & \text{if $k = 0$} \end{cases} Der naheliegendste Weg ist, zufällige Bits zu zeichnen und zu prüfen, ob alle gleich (oder ) …
11
Gilt von Neumanns Zufälligkeit im Sünde-Zitat nicht mehr?
Einige Leute sagten folgendes: Wer versucht, mit deterministischen Mitteln Zufallszahlen zu generieren, lebt natürlich in einem Zustand der Sünde. Das bedeutet immer, dass Sie mit nur einem Computer keine echten Zufallszahlen generieren können. Und er sagte, dass Computer die gleiche Größe hätten wie ein einzelner Intel 8080-Mikroprozessor (~ 6000 Ventile). …
2
Was ist schwieriger: Ein sortiertes Deck mischen oder ein gemischtes Deck sortieren?
Sie haben ein Array von verschiedenen Elementen. Sie haben Zugriff auf einen Komparator (eine Black-Box-Funktion, die zwei Elemente und und true zurückgibt, falls ) und eine wirklich zufällige Quelle von Bits (eine Black-Box-Funktion, die keine Argumente verwendet und ein unabhängig einheitlich zufälliges Bit zurückgibt). Betrachten Sie die folgenden zwei Aufgaben:a …
3
Shannon-Entropie von 0,922, 3 verschiedene Werte
Bei einer Reihe von Werten , der Shannon Entropy in Log - Basis zu kommen . Soweit ich weiß, ist die aufgerundete Shannon-Entropie in Basis die minimale Anzahl von Binärbits, um einen einzelnen der Werte darzustellen.AAAAAAAABCAAAAAAAABCAAAAAAAABC2220.9220.9220.922222 Entnommen aus der Einführung auf dieser Wikipedia-Seite: https://en.wikipedia.org/wiki/Entropy_%28information_theory%29 Wie können also drei Werte durch …
1
Verfeinerungsarten ableiten
Bei der Arbeit wurde ich beauftragt, einige Typinformationen über eine dynamische Sprache abzuleiten. Ich schreibe Folgen von Anweisungen in verschachtelte letAusdrücke um, wie folgt: return x; Z => x var x; Z => let x = undefined in Z x = y; Z => let x = y in Z …
11 programming-languages  logic  type-theory  type-inference  machine-learning  data-mining  clustering  order-theory  reference-request  information-theory  entropy  algorithms  algorithm-analysis  space-complexity  lower-bounds  formal-languages  computability  formal-grammars  context-free  parsing  complexity-theory  time-complexity  terminology  turing-machines  nondeterminism  programming-languages  semantics  operational-semantics  complexity-theory  time-complexity  complexity-theory  reference-request  turing-machines  machine-models  simulation  graphs  probability-theory  data-structures  terminology  distributed-systems  hash-tables  history  terminology  programming-languages  meta-programming  terminology  formal-grammars  compilers  algorithms  search-algorithms  formal-languages  regular-languages  complexity-theory  satisfiability  sat-solvers  factoring  algorithms  randomized-algorithms  streaming-algorithm  in-place  algorithms  numerical-analysis  regular-languages  automata  finite-automata  regular-expressions  algorithms  data-structures  efficiency  coding-theory  algorithms  graph-theory  reference-request  education  books  formal-languages  context-free  proof-techniques  algorithms  graph-theory  greedy-algorithms  matroids  complexity-theory  graph-theory  np-complete  intuition  complexity-theory  np-complete  traveling-salesman  algorithms  graphs  probabilistic-algorithms  weighted-graphs  data-structures  time-complexity  priority-queues  computability  turing-machines  automata  pushdown-automata  algorithms  graphs  binary-trees  algorithms  algorithm-analysis  spanning-trees  terminology  asymptotics  landau-notation  algorithms  graph-theory  network-flow  terminology  computability  undecidability  rice-theorem  algorithms  data-structures  computational-geometry 
2
Gibt es eine Verallgemeinerung der Huffman-Codierung auf die arithmetische Codierung?
Beim Versuch, die Beziehungen zwischen Huffman-Codierung, arithmetischer Codierung und Bereichscodierung zu verstehen, begann ich über die Mängel der Huffman-Codierung nachzudenken, die mit dem Problem der fraktionierten Bitpackung zusammenhängen . Angenommen, Sie haben 240 mögliche Werte für ein Symbol und müssen diese in Bits codieren. Sie würden also mit 8 Bits …
1
Wie kann man die Entropie einer Datei praktisch messen?
Ich versuche jetzt, viele nicht redundante (tatsächliche) Informationen zu messen, die meine Datei enthält. Einige nennen dies die Menge an Entropie. Natürlich gibt es das Standard-p (x) -Protokoll {p (x)}, aber ich denke, dass Shannon es nur unter dem Gesichtspunkt der Übertragung durch einen Kanal in Betracht gezogen hat. Daher …
9 entropy 
1
Shannon-Entropie zu Min-Entropie
In vielen Artikeln habe ich gelesen, dass es bekannt ist, dass die Shannon-Entropie einer Zufallsvariablen durch unabhängige Kopien der Variablen in Min-Entropie (bis zu einem kleinen statistischen Abstand) umgewandelt werden kann. Kann mir jemand erklären, was genau das bedeutet?
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.