Kann der Wert der gegenseitigen Information größer als 1 sein?


11

Ich habe einen sehr grundlegenden Zweifel. Entschuldigung, wenn dies nur wenige irritiert. Ich weiß, dass der Wert für gegenseitige Informationen größer als 0 sein sollte, aber kleiner als 1? Ist es durch einen oberen Wert begrenzt?

Danke, Amit.

Antworten:


18

Ja, es hat eine Obergrenze, aber nicht 1.

Die gegenseitige Information (in Bits) ist 1, wenn zwei Parteien (statistisch) ein Informationsbit teilen. Sie können jedoch beliebig große Datenmengen gemeinsam nutzen. Insbesondere wenn sie 2 Bits teilen, ist es 2.

I(X,Y)min[H(X),H(Y)]


Wenn die beiden Parteien binäre Variablen sind, dh jeweils nur zwei mögliche Ergebnisse {0,1} haben , werden die Entropien bei maximal, wenn und . Somit ist die maximale gegenseitige Information für zwei binäre VariablenX,YH(X),H(Y)1P(X)=0.5P(Y)=0.51
Akseli Palén
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.