Erwarteter Wert einer Gaußschen Zufallsvariablen, die mit einer logistischen Funktion transformiert wurde

Sowohl die logistische Funktion als auch die Standardabweichung werden normalerweise als . Ich werde und s für die Standardabweichung verwenden.$\sigma$$\sigma(x) = 1/(1+\exp(-x))$$s$

Ich habe eine logistische Neuron mit einem zufälligen Eingang , dessen Mittelwert und Standardabweichung ich weiß. Ich hoffe, dass der Unterschied zum Mittelwert durch ein Gaußsches Rauschen gut angenähert werden kann. Nehmen wir also bei einem leichten Missbrauch der Notation an, dass sie . Was ist der erwartete Wert von ? Die Standardabweichung kann im Vergleich zu oder groß oder klein sein . Eine gute Näherung in geschlossener Form für den erwarteten Wert wäre fast so gut wie eine Lösung in geschlossener Form.$\mu$$s$$\sigma(\mu + N(0,s^2))=\sigma(N(\mu,s^2))$$\sigma(N(\mu,s^2))$$s$$\mu$$1$

Ich glaube nicht, dass es eine geschlossene Lösung gibt. Dies kann als Faltung angesehen werden, und die charakteristische Funktion für die logistische Dichte ist bekannt ( ), aber ich bin mir nicht sicher, wie viel das hilft. Der inverse symbolische Rechner konnte die Dichte der Faltung der logistischen Verteilungsdichte und einer Standardnormalverteilung bei nicht erkennen , was darauf hindeutet, aber nicht beweist, dass es kein einfaches Elementarintegral gibt. Weitere Indizienbeweise: In einigen Veröffentlichungen zum Hinzufügen von Gaußschem Eingangsrauschen zu neuronalen Netzen mit logistischen Neuronen gaben die Veröffentlichungen auch keine Ausdrücke in geschlossener Form.$\pi t ~\text{csch} ~\pi t$$0$

Diese Frage stellte sich beim Versuch, den Fehler in der mittleren Feldnäherung in Boltzman-Maschinen zu verstehen.

Folgendes habe ich letztendlich verwendet:

Schreibe wobei . Wir können eine Taylor-Reihenerweiterung verwenden.$\sigma(N(\mu,s^2)) = \sigma(\mu + X)$$X \sim N(0,s^2)$

$\sigma(\mu + X) = \sigma(\mu) + X \sigma'(\mu) + \frac{X^2}{2} \sigma''(\mu)+ ... + \frac{X^n}{n!}\sigma^{(n)}(\mu) + ...$

$\begin{eqnarray} E[\sigma(\mu + X)] & =& E[\sigma(\mu)] + E[X \sigma'(\mu)] + E[\frac{X^2}{2} \sigma''(\mu)] + ... \newline & = & \sigma(\mu) + 0 + \frac{s^2}{2}\sigma''(\mu) + 0 + \frac{3s^4}{24}\sigma^{(4)}(\mu)+ ... + \frac{s^{2k}}{2^k k!}\sigma^{(2k)}(\mu) ... \end{eqnarray}$

Es gibt Konvergenzprobleme. Die logistische Funktion hat einen Pol mit , also bei , ungerade. Divergenz ist nicht dasselbe wie das nutzlose Präfix, aber diese Seriennäherung kann unzuverlässig sein, wenn signifikant ist.$\exp(-x) = -1$$x = k \pi i$$k$$P(|X| \gt \sqrt{\mu^2 + \pi^2})$

Da , können wir Ableitungen von als Polynome in schreiben . Zum Beispiel und . Die Koeffizienten beziehen sich auf OEIS A028246 .$\sigma'(x) = \sigma(x) (1-\sigma(x))$$\sigma(x)$$\sigma(x)$$\sigma'' = \sigma-3\sigma^2+2\sigma^3$$\sigma''' = \sigma - 7\sigma^2 + 12 \sigma^3 - 6\sigma^4$

Was Sie hier haben, ist eine Zufallsvariable, die einer logit-normalen (oder logistisch-normalen) Verteilung folgt (siehe Wikipedia ), . Die Momente der logit-Normalverteilung haben keine analytischen Lösungen.$\mbox{logit}[x] \sim N(\mu, s^2)$

Aber natürlich kann man sie durch numerische Integration erhalten. Wenn Sie R verwenden, gibt es das logitnorm- Paket, das alles enthält , was Sie benötigen. Ein Beispiel:

install.packages("logitnorm")
library(logitnorm)
momentsLogitnorm(mu=1, sigma=2)

Dies ergibt:

> momentsLogitnorm(mu=1, sigma=2)
      mean        var 
0.64772644 0.08767866

Es gibt also sogar eine Komfortfunktion, mit der Sie direkt den Mittelwert und die Varianz ermitteln können.