Warum enthält die Exponentialfamilie nicht alle Distributionen?

Ich lese das buch:

Bischof, Mustererkennung und maschinelles Lernen (2006)

was die Exponentialfamilie als Verteilungen der Form definiert (Gl. 2.194):

p (x | η) = h (x) g (η) \exp {η^{T} u (x)}

$p(\mathbf x|\boldsymbol \eta) = h(\mathbf x) g(\boldsymbol \eta) \exp \{\boldsymbol \eta^\mathrm T \mathbf u(\mathbf x)\}$

Aber ich sehe keine Einschränkungen für oder . Bedeutet das nicht, dass jede Verteilung in diese Form gebracht werden kann, indem und (tatsächlich muss nur eine von ihnen richtig gewählt werden!)? Wie kommt es, dass die Exponentialfamilie nicht alle Wahrscheinlichkeitsverteilungen enthält? Was vermisse ich? $h(\mathbf x)$ $\mathbf u(\mathbf x)$ $h(\mathbf x)$ $\mathbf u(\mathbf x)$

Schließlich ist eine speziellere Frage, die mich interessiert, folgende: Ist die Bernoulli-Verteilung in der exponentiellen Familie ? Wikipedia behauptet es ist, aber da ich hier offensichtlich etwas verwirrt bin, würde ich gerne sehen, warum.

mathematical-statistics exponential-family

— becko
quelle

Versuchen Sie für den Beweis, dass die Bernoulli-Verteilung in der Exponentialfamilie liegt, die Tatsache zu verwenden, dass und sehen Sie, woher Sie kommen

f (x; μ) = \exp (\log (f (x; μ)))

$f(x; \mu) = \exp (\log( f(x; \mu)))$

— jld

Fragen Sie sich zur Verdeutlichung, ob eine Distribution in dieser Form geschrieben werden kann oder ob eine Familie von Distributionen in dieser Form geschrieben werden kann? Sie scheinen Antworten auf die letztere Frage bekommen zu haben.

— Owen

@Owen Ja, ich sehe jetzt, dass dies der entscheidende Punkt ist. Obwohl jede Distribution in dieser Form geschrieben werden kann (indem entsprechend gesetzt wird und ), bedeutet dies nicht, dass eine Familie in dieser Form geschrieben werden kann.

h (x)

$h(\mathbf x)$

g = 1, u = 0

$g=1,\mathbf u= 0$

— Becko

@becko, das ist genau richtig. Die Formulierung im Text "die Exponentialfamilie" ist etwas irreführend, weil es nicht nur eine Exponentialfamilie gibt; Vielmehr entsteht aus jeder Wahl von

eine Familie. Viele Autoren sagen stattdessen "eine exponentielle Familie", was dies klarer macht; Siehe z. B. die Wikipedia-Seite: en.wikipedia.org/wiki/Exponential_family

(h, g, u)

$(h, g, \mathbf u)$

— Brent Kerby

@becko Ich denke, Ihr Argument zeigt, dass jede gegebene Verteilung ein Mitglied einer Exponentialfamilie sein kann, aber nicht, dass jede Verteilungsfamilie eine Exponentialfamilie sein kann.

— Matthew Drury

Antworten:

Nun, eine Folge Ihrer Definition: ist , dass die Unterstützung der Verteilung Familie durch Parameter indiziert nicht tun abhängen . (Die Unterstützung einer Wahrscheinlichkeitsverteilung ist die (Schließung) der am wenigsten mit der Wahrscheinlichkeit eingestellten, oder mit anderen Worten, wo die Verteilung lebt

p (x | η) = h (x) g (η) \exp {η^{T} u (x)}

$p(\mathbf x|\boldsymbol \eta) = h(\mathbf x) g(\boldsymbol \eta) \exp \{\boldsymbol \eta^\mathrm T \mathbf u(\mathbf x)\}$

η

$\eta$

η

$\eta$ .) Es reicht also aus, ein Gegenbeispiel einer Verteilungsfamilie mit Unterstützung in Abhängigkeit vom Parameter anzugeben, das einfachste Beispiel ist die folgende Familie von Gleichverteilungen:

. (Die andere Antwort von @Chaconne gibt ein differenzierteres Gegenbeispiel).

U (0, η), η > 0

$\text{U}(0, \eta), \quad \eta > 0$

— kjetil b halvorsen
quelle

Man betrachte die nichtzentrale Laplace-Verteilung

f (x; μ, σ) \propto \exp (- | x - μ | / σ) .

$f(x; \mu, \sigma) \propto \exp \left(-| x - \mu | / \sigma \right).$

Solange nicht Sie nicht schreiben als inneres Produkt zwischen und einer Funktion von . $\mu = 0$ $|x - \mu|$ $\mu$ $x$

Die exponentielle Familie umfasst die überwiegende Mehrheit der nett genannten Distributionen, die wir gewöhnlich antreffen. Auf den ersten Blick scheint es also alles Interessante zu haben, aber es ist keineswegs erschöpfend.

— jld
quelle