Wie normalisiert das Protokoll (p (x, y)) die punktuelle gegenseitige Information?

9

Ich versuche, die normalisierte Form der punktuellen gegenseitigen Information zu verstehen.

$npmi = \frac{pmi(x,y)}{log(p(x,y))}$

Warum normalisiert die logarithmische Gelenkwahrscheinlichkeit die punktweise gegenseitige Information auf [-1, 1]?

Die punktuelle gegenseitige Information ist:

$pmi = log(\frac{p(x,y)}{p(x)p(y)})$

p (x, y) ist durch [0, 1] begrenzt, so dass log (p (x, y)) durch (, 0] begrenzt ist. Es scheint, als sollte das log (p (x, y)) Änderungen in irgendwie ausgleichen der Zähler, aber ich verstehe nicht genau wie. Es erinnert mich auch an die Entropie , aber auch hier verstehe ich die genaue Beziehung nicht. $h=-log(p(x))$

entropy information-theory mutual-information

— 2 Cent
quelle

Für den Anfang verwenden punktweise gegenseitige Informationen den Logarithmus (ich bin nicht sicher, ob es sich um einen Tippfehler handelt oder ob Sie eine andere Größe verwenden ).

— Piotr Migdal

12

Aus dem Wikipedia-Eintrag zur punktuellen gegenseitigen Information :

Punktweise gegenseitige Informationen können zwischen [-1, + 1] normalisiert werden, was zu -1 (im Grenzwert) für niemals zusammen auftretend, 0 für Unabhängigkeit und +1 für vollständiges gleichzeitiges Auftreten führt.

Warum passiert das? Nun, die Definition für punktuelle gegenseitige Information ist

p m i \equiv \log [\frac{p (x, y)}{p (x) p (y)}] = \log p (x, y) - \log p (x) - \log p (y),

$pmi \equiv \log \left[ \frac{p(x,y)}{p(x)p(y)} \right] = \log p(x,y) - \log p(x) - \log p(y),$

Für normalisierte punktweise gegenseitige Informationen gilt Folgendes :

n p m i \equiv \frac{p m i}{- \log p (x, y)} = \frac{\log [p (x) p (y)]}{\log p (x, y)} - 1.

$npmi \equiv \frac{pmi}{-\log p(x,y)} = \frac{\log[ p(x) p(y)]}{\log p(x,y)} - 1.$

Das wenn es gibt:

Keine gleichzeitigen Vorkommen, , also ist nmpi -1, $\log p(x,y)\to -\infty$
zufälliges gleichzeitiges Auftreten, , also ist nmpi 0, $\log p(x,y)= \log[p(x) p(y)]$
vollständige Co-Vorkommen, , also ist nmpi 1. $\log p(x,y)= \log p(x) = \log p(y)$

— Piotr Migdal
quelle

Es wäre eine vollständigere Antwort, um zu zeigen, warum sich npmi im Intervall . Siehe meinen Beweis in der anderen Antwort.

[- 1, 1]

$[-1,1]$

— Hans

1

Während Piotr Migdals Antwort in den Beispielen, in denen nmpi drei Extremwerte erreicht, informativ ist, beweist sie nicht, dass es sich um das Intervall . Hier ist die Ungleichung und ihre Ableitung. as für jedes Ereignis . wir beide Seiten durch das nicht negative , erhalten wir $[-1,1]$

\begin{aligned} \log p (x, y) \\ \leq & \log p (x, y)) - \log p (x) - \log p (y) \\ = & \log \frac{p (x, y)}{p (x) p (y)} =: pmi (x; y) \\ = & \log p (y | x) + \log p (y | x) - \log p (x, y) \\ \leq & - \log p (x, y) \end{aligned}

$\begin{align} &\log\,p(x,y) \\ \le&\log\,p(x,y))-\log\,p(x)-\log\,p(y) \\ =&\log \frac{p(x,y)}{p(x)p(y)}=:\text{pmi}(x;y) \\ =&\log\, p(y|x)+\log\, p(y|x)-\log\,p(x,y) \\ \le&-\log\,p(x,y) \end{align}$

- \log p (A) \geq 0

$-\log\,p(A)\ge0$

A

$A$

h (x, y) := - \log p (x, y)

$h(x,y):=-\log\,p(x,y)$

- 1 \leq nmpi (x; y) := \frac{mpi(x;y)}{h (x, y)} \leq 1.

$-1\le\text{nmpi}(x;y):=\frac{\text{mpi(x;y)}}{h(x,y)}\le1.$

— Hans
quelle