Die gegenseitige Information einschränken, die gegeben ist, beschränkt sich auf die punktweise gegenseitige Information

Angenommen, ich habe zwei Mengen und und eine gemeinsame Wahrscheinlichkeitsverteilung über diese Mengen . Lassen und die Randverteilungen über bezeichnen und jeweils. $X$ $Y$ $p(x,y)$ $p(x)$ $p(y)$ $X$ $Y$

Die gegenseitige Information zwischen und ist definiert als: $X$ $Y$

I (X; Y) = \sum_{x, y} p (x, y) \cdot \log (\frac{p (x, y)}{p (x) p (y)})

$I(X; Y) = \sum_{x,y}p(x,y)\cdot\log\left(\frac{p(x,y)}{p(x)p(y)}\right)$

dh es ist der Durchschnittswert der punktweisen gegenseitigen Information pmi . $(x,y) \equiv \log\left(\frac{p(x,y)}{p(x)p(y)}\right)$

Angenommen, ich kenne die oberen und unteren Grenzen von pmi : dh ich weiß, dass für alle Folgendes gilt: $(x,y)$ $x,y$

- k \leq \log (\frac{p (x, y)}{p (x) p (y)}) \leq k

$-k \leq \log\left(\frac{p(x,y)}{p(x)p(y)}\right) \leq k$

Was obere Schranke tut dies impliziert auf . Natürlich impliziert dies , aber ich möchte eine engere Bindung, wenn möglich. Dies erscheint mir plausibel, da p eine Wahrscheinlichkeitsverteilung definiert und pmi nicht für jeden Wert von und seinen Maximalwert annehmen kann (oder sogar nicht negativ sein kann) . $I(X; Y)$ $I(X; Y) \leq k$ $(x,y)$ $x$ $y$

entropy mutual-information information-theory

— Florian
quelle

Wenn die gemeinsamen und Randwahrscheinlichkeiten einheitlich sind, ist pmi ( ,

) einheitlich null (und daher nicht negativ, was Ihrer letzten Aussage anscheinend widerspricht, aber gerade noch). Es scheint mir, wenn ich mich nicht irre, dass die Störung dieser Situation bei kleinen Teilmengen von

darauf hindeutet, dass die Grenzen von pmi fast nichts über

selbst aussagen .

x

$x$

y

$y$

X \times Y

$X \times Y$

I (X; Y)

$I(X;Y)$

— whuber

In der Tat, wenn

und

sind unabhängig, dann

konstant ist , unabhängig von den Randverteilungen. So gibt es eine ganze Klasse von Verteilungen

, für die

seinen Maximalwert für jede erhält

und

X

$X$

Y

$Y$

p m i (x, y)

$\mathrm{pmi}(x,y)$

p (x, y)

$p(x,y)$

p m i (x, y)

$\mathrm{pmi}(x,y)$

x

$x$

y

$y$

— Kardinal

Ja, es ist sicher richtig, dass pmi

für alle

und

, aber das schließt eine engere Grenze nicht aus. Zum Beispiel ist es nicht schwer zu beweisen, dass

. Dies ist wenn , und ist eine nicht triviale Verstärkung der Schranke wenn . Ich frage mich, ob es nicht-triviale Grenzen gibt, die allgemeiner gelten.

(x, y)

$(x,y)$

x

$x$

y

$y$

I (X; Y) \leq k (e^{k} - 1)

$I(X; Y) \leq k(e^k-1)$

\approx k^{2}

$\approx k^2$

k < 1

$k < 1$

k

$k$

k < 1

$k < 1$

— Florian

Ich bin mir nicht sicher, ob Sie für

eine bessere Grenze als

. Wenn Sie genauer hinschauen möchten, versuchen Sie, Ihre Frage in Bezug auf die KL-Divergenz zwischen p (x) p (y) und p (x, y) neu zu formulieren. Pinskers Ungleichung liefert eine Untergrenze für den MI, die meine Vermutung bestätigen könnte. Siehe auch Abschnitt 4 von ajmaa.org/RGMIA/papers/v2n4/relog.pdf .

O (k^{2})

$O(k^2)$

k \to 0

$k \to 0$

— vqv

Antworten:

Mein Beitrag besteht aus einem Beispiel. Es zeigt einige Grenzen auf, wie die gegenseitige Information begrenzt werden kann, wenn Grenzen für die punktweise gegenseitige Information gegeben sind.

Nehmen und für alle . Für jeden lassen ist die Lösung der Gleichung $X = Y = \{1,\ldots, n\}$ $p(x) = 1/n$ $x \in X$ $m \in \{1,\ldots, n/2\}$ $k > 0$

m e^{k} + (n - m) e^{- k} = n .

$m e^{k} + (n - m) e^{-k} = n.$ Dann platzieren wir die Punktmasse

Punkten im Produktraum

so, dass es

dieser Punkte in jeder Zeile und jeder Spalte gibt. (Dies kann auf verschiedene Arten geschehen. Beginnen Sie beispielsweise mit den ersten

Punkten in der ersten Reihe und füllen Sie die verbleibenden Reihen aus, indem Sie die

Punkte mit einer zyklischen Randbedingung für jede Reihe um eins nach rechts verschieben.) Wir setzen die Punktmasse

in das verbleibende

e^{k} / n^{2}

$e^k / n^2$

n m

$nm$

{1, \dots, n}^{2}

$\{1,\ldots,n\}^2$

m

$m$

m

$m$

m

$m$

e^{- k} / n^{2}

$e^{-k}/n^2$

Punkte. Die Summe dieser Punktmassen ist

n^{2} - n m

$n^2 - nm$

also geben sie ein Wahrscheinlichkeitsmaß. Alle Randpunktwahrscheinlichkeiten sind

\frac{n m}{n^{2}} e^{k} + \frac{n^{2} - n m}{n^{2}} e^{- k} = \frac{m e^{k} + (n - m) e^{- k}}{n} = 1,

$\frac{nm}{n^2} e^{k} + \frac{n^2 - nm}{n^2} e^{-k} = \frac{me^k + (n-m)e^{-k}}{n} = 1,$

also sind beide Randverteilungen gleichmäßig.

\frac{m}{n^{2}} e^{k} + \frac{m - n}{n^{2}} e^{- k} = \frac{1}{n},

$\frac{m}{n^2} e^{k} + \frac{m - n}{n^2} e^{-k} = \frac{1}{n},$

Durch den Aufbau ist es klar , daß für alle , und (nach einigen Berechnungen) $\mathrm{pmi}(x,y) \in \{-k,k\},$ $x,y \in \{1,\ldots,n\}$ mit der gegenseitigen Information verhaltenalsfürund alsfür.

I (X; Y) = k \frac{n m}{n^{2}} e^{k} - k \frac{n^{2} - n m}{n^{2}} e^{- k} = k (\frac{1 - e^{- k}}{e^{k} - e^{- k}} (e^{k} + e^{- k}) - e^{- k}),

$I(X;Y) = k \frac{nm}{n^2} e^{k} - k \frac{n^2 - nm}{n^2} e^{-k} = k\Big(\frac{1-e^{-k}}{e^k - e^{-k}} (e^k + e^{-k}) - e^{-k}\Big),$

k^{2} / 2

$k^2 / 2$

k \to 0

$k \to 0$

k

$k$

k \to \infty

$k \to \infty$

— NRH
quelle

Ich bin mir nicht sicher, ob Sie danach suchen, da es größtenteils algebraisch ist und die Eigenschaften von p als Wahrscheinlichkeitsverteilung nicht wirklich nutzt, aber hier ist etwas, das Sie ausprobieren können.

Aufgrund der Grenzen von pmi ist eindeutig $\frac{p(x,y)}{p(x)p(y)}\leq e^k$ $p(x,y)\leq p(x)p(y)\cdot e^k$ $p(x,y)$ $I(X;Y)$ $I(X;Y)\leq \sum_{x,y}p(x)p(y)\cdot e^k\cdot log(\frac{p(x)p(y)\cdot e^k}{p(x)p(y)}) = \sum_{x,y}p(x)p(y)\cdot e^k\cdot k$

Ich bin mir nicht sicher, ob das hilfreich ist oder nicht.

EDIT: Nach weiterer Überprüfung glaube ich, dass dies weniger nützlich ist als die ursprüngliche Obergrenze von k. Ich werde dies jedoch nicht löschen, falls es auf einen Startpunkt hindeuten sollte.

— Michael McGowan
quelle

\sum_{x, y} p (x) p (y) = 1

$\sum_{x,y}p(x)p(y)=1$

k \geq 0

$k \ge 0$

e^{k} \geq 1

$e^k \ge 1$

Ja, als ich merkte, dass ich meine Bearbeitung vorgenommen habe.

— Michael McGowan