Bis heute wusste ich, dass ein Bit eine Variable oder ein Speicherplatz ist, der den Wert Eins (hoch) oder Null (niedrig) enthalten kann. Dies ist das Konzept, das ich durch das Studium von Computerprogrammierung, Mikroprozessor oder DATA-Bus usw. gelernt habe.
Aber nachdem ich den Kurs über Informationstheorie begonnen hatte, fand ich heraus, dass Bit als Informationsgehalt eines Symbols in einer Nachricht ausgedrückt wird. Dies wird unter Verwendung des Logarithmus (Basis 2) der Umkehrung der Wahrscheinlichkeit des Auftretens des Symbols berechnet.
Sind diese beiden Konzepte gleich? Ein Bit ist einerseits eine Variable, die entweder Null oder Eins speichern kann. Andererseits ist ein Bit die Unsicherheit, die mit einem von zwei Symbolen mit einer Eintrittswahrscheinlichkeit von 0,5 verbunden ist. Bedeutet 1 Bit in der Computerprogrammierung oder im ASCII-Code 1 Bit im Informationsgehalt der Quelle oder der Informationstheorie?
Eine kleine Änderung: Hier ist eine Sache, bei der ich Probleme habe, dieses Thema zu verstehen. Wenn wir bei der Datenübertragung von englischen Alphabeten ASCII-Code verwenden, stellen wir grundsätzlich jedes Symbol mit 8 Bits dar. Angenommen, das ist 00000000 für a, 00000001 für b usw. Wir weisen also im Wesentlichen 8 Quantisierungsstufen für jedes Symbol zu.
Wenn jedoch die Informationstheorie ins Spiel kommt, berücksichtigen wir die Wahrscheinlichkeit jedes Symbols. 'E' hat die höchste Frequenz, wobei 'Z' die niedrigste hat. Der durchschnittliche Informationsgehalt beträgt also 3 oder 4 Bit, oder?
In meinem Buch heißt es: "Entropie oder durchschnittlicher Informationsgehalt ist die minimale durchschnittliche Anzahl von Bits, die erforderlich sind, um jede Probe ohne Verzerrung darzustellen." Erstellen wir in diesem Fall für eine effiziente Datenübertragung maximal vier Quantisierungsstufen für jedes Symbol? Weil sie im Durchschnitt Informationen im Wert von 4 Bit enthalten. Wenn dem so ist, ist das Bit in der Informationstheorie nicht dasselbe wie das in der Computerprogrammierung, Datenübertragung oder im ASCII-Code usw.?
Sie bekommen wahrscheinlich, dass ich hier eindeutig ein Noob bin: p