Ich bin auf den Begriff Ratlosigkeit gestoßen, der sich auf die logarithmisch gemittelte inverse Wahrscheinlichkeit für unsichtbare Daten bezieht. Ein Wikipedia- Artikel über Ratlosigkeit gibt keine intuitive Bedeutung dafür.

Dieses Verwirrungsmaß wurde in pLSA- Papier verwendet.

Kann jemand die Notwendigkeit und die intuitive Bedeutung von Ratlosigkeit erklären ?

Sie haben den Wikipedia-Artikel über Ratlosigkeit gelesen . Es gibt die Verwirrung einer diskreten Verteilung als

$$2^{-\sum_x p(x)\log_2 p(x)}$$

was auch geschrieben werden könnte als

$$\exp\left({\sum_x p(x)\log_e \frac{1}{p(x)}}\right)$$

dh als gewichtetes geometrisches Mittel der Umkehrungen der Wahrscheinlichkeiten. Bei einer kontinuierlichen Verteilung würde die Summe zu einem Integral.

Der Artikel gibt auch eine Möglichkeit, die Verwirrung für ein Modell unter Verwendung von Testdaten zu schätzen$N$

$$2^{-\sum_{i=1}^N \frac{1}{N} \log_2 q(x_i)}$$

was auch geschrieben werden könnte

$$\exp\left(\frac{{\sum_{i=1}^N \log_e \left(\dfrac{1}{q(x_i)}\right)}}{N}\right) \text{ or } \sqrt[N]{\prod_{i=1}^N \frac{1}{q(x_i)}}$$

oder auf eine Vielzahl anderer Arten, und dies sollte es noch klarer machen, woher die "log-durchschnittliche inverse Wahrscheinlichkeit" kommt.

Ich fand das ziemlich intuitiv:

Die Ratlosigkeit dessen, was Sie auswerten, sagt Ihnen in Bezug auf die Daten, auf denen Sie es auswerten, sozusagen: "Diese Sache ist ungefähr so ​​oft richtig, wie es ein x-seitiger Würfel sein würde."

http://planspace.org/2013/09/23/perplexity-what-it-is-and-what-yours-is/

Ich habe mich das auch gefragt. Die erste Erklärung ist nicht schlecht, aber hier sind meine 2 Nats für was auch immer das wert ist.

---

Ratlosigkeit hat vor allem nichts damit zu tun, wie oft man etwas Richtiges errät. Es hat mehr mit der Charakterisierung der Komplexität einer stochastischen Sequenz zu tun.

$$2^{-\sum_x p(x)\log_2 p(x)}$$

Löschen wir zuerst das Protokoll und die Potenzierung.

$$2^{-\sum_{x} p(x)\log_2 p(x)}=\frac{1}{\prod_{x} p(x)^{p(x)}}$$

Ich denke, es ist erwähnenswert, dass Ratlosigkeit mit der Basis, die Sie zur Definition der Entropie verwenden, unvermeidlich ist. In diesem Sinne ist Ratlosigkeit unendlich viel eindeutiger / weniger willkürlich als Entropie als Maß.

Beziehung zu Würfeln

$$\frac{1}{\frac{1}{2}^\frac{1}{2}\times\frac{1}{2}^\frac{1}{2}}=2$$

$N$

$$\frac{1}{\left(\frac{1}{N}^\frac{1}{N}\right)^N}=N$$

Ratlosigkeit ist also die Anzahl der Seiten eines fairen Würfels, die beim Würfeln eine Sequenz mit der gleichen Entropie wie Ihre gegebene Wahrscheinlichkeitsverteilung ergibt.

Anzahl der Staaten

$N$$N+1$$N$$\epsilon$$N$$N + 1$$\epsilon$$N$$x$$p_x$$N$

$$p^\prime_x=p_x\left(1-\epsilon\right)$$

$$\frac{1}{\epsilon^\epsilon\prod_x^N {p^\prime_x}^{p^\prime_x}}=\frac{1}{\epsilon^\epsilon\prod_x^N {\left(p_x\left(1-\epsilon\right)\right)}^{p_x\left(1-\epsilon\right)}} = \frac{1}{\epsilon^\epsilon\prod_x^N p_x^{p_x\left(1-\epsilon\right)} {\left(1-\epsilon\right)}^{p_x\left(1-\epsilon\right)}} = \frac{1}{\epsilon^\epsilon{\left(1-\epsilon\right)}^{\left(1-\epsilon\right)}\prod_x^N p_x^{p_x\left(1-\epsilon\right)}}$$

$\epsilon\rightarrow 0$

$$\frac{1}{\prod_x^N {p_x}^{p_x}}$$

Wenn Sie das Würfeln einer Seite des Würfels immer unwahrscheinlicher machen, sieht die Ratlosigkeit so aus, als ob die Seite nicht existiert.

$X$$X'$

$P(X=X') \ge 2^{-H(X)} = \frac{1}{2^{H(X)}} = \frac{1}{\text{perplexity}}$

Um zu erklären, ist die Verwirrung einer gleichmäßigen Verteilung X nur | X |, die Anzahl der Elemente. Wenn wir versuchen, die Werte zu erraten, die iid-Samples von einer gleichmäßigen Verteilung X annehmen, indem wir einfach iid-Ratschläge von X machen, werden wir 1 / | X | = 1 / Verwirrung der Zeit korrekt sein. Da die Gleichverteilung die am schwersten zu erratenden Werte sind, können wir 1 / Ratlosigkeit als Untergrenze / heuristische Näherung für die Häufigkeit unserer Vermutungen verwenden.