Was ist der Gradienten-Log-Normalisierer?

Im Wiki wird die Softmax-Funktion als Gradient-Log-Normalisierer der kategorialen Wahrscheinlichkeitsverteilung definiert . Eine teilweise Erklärung zum Log-Normalizer finden Sie hier , aber wofür steht der Gradient-Log-Normalizer ?

Unter Verwendung der Notation von der Wikipedia-Seite ( https://en.wikipedia.org/wiki/Exponential_family ) ist eine Exponentialfamilie eine Familie von Wahrscheinlichkeitsverteilungen mit pmfs / pdfs, die als geschrieben werden können (wobei zu beachten ist, dass $\theta$ , $x$ ein Vektor sein kann bewertet):

$$f_{\theta}(x)=h(x)\exp[\eta(\theta)^Tt(x)-A(\theta)]$$ wobei & $\eta(\theta)=\eta$ die natürlichen Parameter sind,$t(x)$ sind die ausreichenden Statistiken, und$A(\theta)$ ist der Protokollnormalisierer (manchmal als Protokollpartitionsfunktion bezeichnet). Der Grund$A(\theta)$ wird das Protokoll normalizer genannt, da es im kontinuierlichen Fall , dass überprüft werden kann, für diese eine gültige pdf zu sein, müssen wir haben $$A(\theta)=\log\left[\int h(x)\exp[\eta(\theta)^Tt(x)]dx\right],$$ und im diskreten Fall müssen wir haben, damit dies eine gültige pmf ist $$A(\theta)=\log\left[\sum_x h(x)\exp[\eta(\theta)^Tt(x)]\right].$$ In jedem Fall stellen wir fest, dass $\int h(x)\exp[\eta(\theta)^Tt(x)]dx$ und sind die Normalisierungskonstanten der Verteilungen, daher der Name Log Normalizer.$\sum_x h(x)\exp[\eta(\theta)^Tt(x)]$

Um nun die spezifische Beziehung zwischen der Softmax-Funktion und der dimensionalen kategorialen Verteilung zu sehen, müssen wir eine spezifische Parametrisierung der Verteilung verwenden. Es sei nämlich θ 1 , ⋯ , θ k - 1 so, dass 0 < θ 1 , ⋯ , θ k - 1 und ∑ k - 1 1 i = 1 θ i (wobei θ = ( θ 1 , ⋯ , θ $k$$\theta_1,\cdots,\theta_{k-1}$$0<\theta_1,\cdots,\theta_{k-1}$, und definiereθk=1-∑ k $\sum_{i=1}^{k-1}\theta_i<1$$\theta_k=1-\sum_{i=1}^{k-1}\theta_i$ ). Die pmf für diese Verteilung ist ( x = ( x 1 , ⋯ , x k ) sei ein heißer Vektor, dh x i = 1 und x j = 0 für i ≠ j ): f θ ( x ) = k ∏ i $\theta=(\theta_1,\cdots,\theta_{k})$$x=(x_1,\cdots,x_{k})$$x_i=1$$x_j=0$$i\neq j$ Um dies als Exponentialfamilie zu schreiben, ist zu beachten, dassh(x)=1,η(θ)=(log[θ1/θk],⋯,log[θ k - 1 /θk],0),t(x)=(x1,⋯,

$$f_{\theta}(x)=\prod_{i=1}^k\theta_i^{x_i}.$$ $h(x)=1$$\eta(\theta)=(\log[\theta_1/\theta_k],\cdots, \log[\theta_{k-1}/\theta_k],0)$undA(θ)=-log[ θ k ], also: f θ (x)=exp[(log[ θ 1 / θ k ],⋯,log[ θ k - 1 / θ k ],0 ) T ( x 1 ,⋯, x k )-$t(x)=(x_1,\cdots,x_{k})$$A(\theta)=-\log[\theta_k]$ $$f_{\theta}(x)=\exp[(\log[\theta_1/\theta_k],\cdots, \log[\theta_{k-1}/\theta_k],0)^T(x_1,\cdots,x_{k})-(-\log[\theta_k])].$$

Schreiben wir nun suggestiv $\eta(\theta_i)=\log[\theta_i/\theta_k]=\eta_i$$\theta_i=\frac{e^{\eta_i}}{\sum_{j=1}^ke^{\eta_j}}$

$$A(\eta)=-\log\left[\frac{e^{\eta_k}}{\sum_{j=1}^ke^{\eta_j}}\right]= -\log\left[\frac{1}{\sum_{j=1}^ke^{\eta_j}}\right]=\log\left[\sum_{j=1}^ke^{\eta_j}\right].$$ $\eta_i$ $$\frac{\partial}{\partial \eta_i}A(\eta)=\frac{e^{\eta_i}}{\sum_{j=1}^ke^{\eta_j}},$$ $$\nabla A(\eta)=\left[\frac{e^{\eta_1}}{\sum_{j=1}^ke^{\eta_j}},\cdots,\frac{e^{\eta_k}}{\sum_{j=1}^ke^{\eta_j}}\right].$$