Wie kann man diese Ungleichung der Gaußschen Mischung beweisen? (Anpassung / Überanpassung)

Sei f [x] eine Gaußsche Mischung pdf mit n Begriffen des einheitlichen Gewichts, bedeutet und entsprechenden Varianzen : $\{\mu_{1},...,\mu_{n}\}$ $\{\sigma_{1},...,\sigma_{n}\}$

f (x) \equiv \frac{1}{n} \sum_{i = 1}^{n} \frac{1}{\sqrt{2 π σ_{i}^{2}}} e^{- \frac{(x - μ_{i})^{2}}{2 σ_{i}^{2}}}

$f(x)\equiv\frac{1}{n}\sum_{i=1}^{n}\frac{1}{\sqrt{2\pi\sigma_{i}^{2}}}e^{-\frac{(x-\mu_{i})^{2}}{2\sigma_{i}^{2}}}$

Es scheint intuitiv zu sein, dass die an den n Gaußschen Zentren abgetastete logarithmische Ähnlichkeit größer (oder gleich) der mittleren logarithmischen Wahrscheinlichkeit ist:

\frac{1}{n} \sum_{j = 1}^{n} l n (f (μ_{j})) \geq \int f (x) l n (f (x)) d x

$\frac{1}{n}\sum_{j=1}^{n}ln(f(\mu_{j}))\geq\int f(x)ln(f(x))dx$

Dies gilt offensichtlich für kleine Varianzen (jedes liegt auf einem schmalen Gaußschen Wert) und für sehr große Varianzen (alle liegen zusammen auf einem breiten Gaußschen Wert), und dies gilt auch für Jeder Satz von 's und ' s, den ich generiert und optimiert habe, aber ich kann nicht herausfinden, wie ich beweisen kann, dass es immer wahr ist. Hilfe? $\mu_{i}$ $\mu_{i}$ $\mu_i$ $\sigma_i$

machine-learning gaussian-mixture

— Jerry Guern
quelle

Sie vermissen wahrscheinlich eine Erwartung an die lhs?

— Lacerbi

@lacerbi Nein, bin ich nicht. Es fehlt nichts. Auf der LHS wird das bei den indizierten 's ausgewertet

f (x)

$f(x)$

x_{i}

$x_i$

— Jerry Guern

Ja, tut mir leid - ich war zu müde und habe die Definition falsch verstanden.

— Lacerbi

Antworten:

Dies ist eher ein erweiterter Kommentar, also nimm ihn als solchen. Definieren Sie: (ich verwende den Standard Notation für Gaußsche Verteilungen).

f (x) \equiv \frac{1}{n} \sum_{i = 1}^{n} N (x | x_{i}, σ_{i}^{2})

$f(x) \equiv \frac{1}{n} \sum_{i = 1}^n \mathcal{N}\left(x | x_i, \sigma_i^2 \right)$

Sie möchten beweisen, dass: was

\frac{1}{n} \sum_{i = 1}^{n} \log f (x_{i}) - \int f (x) \log f (x) d x \geq 0

$\frac{1}{n} \sum_{i = 1}^n \log f(x_i) - \int f(x) \log f(x) dx \ge 0$

{\frac{1}{n} \sum_{i = 1}^{n} \log f (x_{i})} + H [f] \geq 0.

$\left\{\frac{1}{n} \sum_{i = 1}^n \log f(x_i)\right\} + \mathcal{H}[f] \ge 0.$

H [f] \geq - \frac{1}{n} \sum_{i = 1}^{n} \log \int f (x) N (x | x_{i}, σ_{i}^{2}) d x = - \frac{1}{n} \sum_{i = 1}^{n} \log g_{i} (x_{i})

$\mathcal{H}[f] \ge -\frac{1}{n} \sum_{i = 1}^n \log \int f(x) \mathcal{N}(x | x_i, \sigma_i^2) dx = -\frac{1}{n} \sum_{i = 1}^n \log g_i(x_i)$

g_{i} (x) \equiv \frac{1}{n} \sum_{j = 1}^{n} N (x | x_{j}, σ_{i}^{2} + σ_{j}^{2})

$g_i(x) \equiv \frac{1}{n} \sum_{j = 1}^n \mathcal{N}\left(x | x_j, \sigma_i^2 + \sigma_j^2 \right)$

{\frac{1}{n} \sum_{i = 1}^{n} \log f (x_{i})} + H [f] \geq \frac{1}{n} \sum_{i = 1}^{n} \log \frac{f (x_{i})}{g_{i} (x_{i})} .

$\left\{\frac{1}{n} \sum_{i = 1}^n \log f(x_i) \right\} + \mathcal{H}[f] \ge \frac{1}{n} \sum_{i = 1}^n \log \frac{f(x_i)}{g_i(x_i)}.$

g_{i}

$g_i$

f

$f$

g_{i}

$g_i$

f

$f$

— Lacerbi
quelle

Vielen Dank. Es sieht so aus, als hätte ich nur beweisen müssen, dass die endgültige RHS> = 0 ist, was ebenfalls intuitiv, aber schwierig zu beweisen ist, aber dies ist in der Tat ein Schritt in die richtige Richtung. Ich habe das Papier schon einmal gesehen.

— Jerry Guern

Es ist verlockend zu glauben, dass die endgültige RHS immer positiv ist, aber ich kann das auch nicht beweisen.

— Jerry Guern

Ich denke ich habe es. Es sind nur elementare Schritte erforderlich, obwohl Sie sie richtig kombinieren müssen.

$f_i$ $i$ $\frac{1}{\sqrt{2\pi \sigma_i^2}}e^{\frac{(x-\mu_i)^2}{2\sigma_i^2}}$

$g(x) = x log(x)$ $f(x) \log(f(x)) \leq \frac{1}{n}\sum_{i=1}^n f_i(x) \log(f_i(x))$

\int f (x) \log (f (x)) d x \leq \frac{1}{n} \sum_{i = 1}^{n} \int f_{i} (x) \log (f_{i} (x)) d x

$\int f(x)\log(f(x)) dx \leq \frac{1}{n} \sum_{i=1}^n \int f_i(x) \log(f_i(x)) dx$

$i$ $f \geq f_i$

l o g (f (μ_{i})) \geq l o g (f_{i} (μ_{i}))

$log(f(\mu_i)) \geq log(f_i(\mu_i))$

\frac{1}{n} \sum_{i = 1}^{n} l o g (f (μ_{i})) \geq \frac{1}{n} \sum_{i = 1}^{n} l o g (f_{i} (μ_{i}))

$\frac{1}{n} \sum_{i=1}^n log(f(\mu_i)) \geq \frac{1}{n}\sum_{i=1}^n log(f_i(\mu_i))$

\frac{1}{n} \sum_{i = 1}^{n} l o g (f_{i} (μ_{i})) \geq \frac{1}{n} \sum_{i = 1}^{n} f_{i} (x) \log (f_{i} (x))

$\frac{1}{n}\sum_{i=1}^n log(f_i(\mu_i)) \geq \frac{1}{n}\sum_{i=1}^n f_i(x) \log(f_i(x))$

l o g (f_{i} (μ_{i})) = \int f_{i} (x) l o g (f_{i} (μ_{i})) d x \geq \int f_{i} (x) l o g (f_{i} (x)) d x

$log(f_i(\mu_i)) = \int f_i(x) log(f_i(\mu_i)) dx \geq \int f_i(x) log(f_i(x)) dx$

i

$i$

n

$n$

— sjm.majewski
quelle

Ich bin verwirrt. Sie haben ag (x) definiert, es aber nie verwendet, und ich weiß nicht, was Ihr f_i bedeutet.

— Jerry Guern

f_{i}

$f_i$

g

$g$

g (\frac{1}{n} \sum_{i = 1}^{n} f_{i} (x)) \leq \frac{1}{n} \sum_{i = 1}^{n} g (f_{i} (x))

$g(\frac{1}{n}\sum_{i=1}^n f_i(x)) \leq \frac{1}{n}\sum_{i=1}^n g(f_i(x))$

f >= f_{i}

$f>=f_i$

1 / n

$1/n$

f_{i}

$f_i$

\frac{1}{n} \sum_{i = 1}^{n} l o g (f (μ_{i})) \geq \frac{1}{n} \sum_{i = 1}^{n} l o g (f_{i} (μ_{i}))

$\frac{1}{n} \sum_{i=1}^n log(f(\mu_i)) \geq \frac{1}{n}\sum_{i=1}^n log(f_i(\mu_i))$

Ja, ich habe es gestern gemerkt. Diese Ungleichung scheint ziemlich schwierig zu sein. Ich werde meine Antwort trotzdem mit einer Bearbeitung belassen.

— sjm.majewski