Vorteile der Exponentialfamilie: Warum sollten wir sie studieren und anwenden?

Hier studiere ich also Inferenz. Ich möchte, dass jemand die Vorteile der exponentiellen Familie aufzählen könnte. Mit Exponentialfamilie meine ich die Verteilungen, die gegeben sind als

\begin{aligned} f (x | θ) = h (x) \exp {η (θ) T (x) - B (θ)} \end{aligned}

$\begin{align*} f(x|\theta) = h(x)\exp\left\{\eta(\theta)T(x) - B(\theta)\right\} \end{align*}$

wessen Unterstützung nicht vom Parameter abhängt . Hier sind einige Vorteile, die ich herausgefunden habe: $\theta$

(a) Es enthält eine Vielzahl von Distributionen.

(b) Es bietet eine natürlich ausreichende Statistik nach dem Neyman-Fisher-Theorem. $T(x)$

(d) Es macht es einfach, die Beziehung zwischen der Antwort und dem Prädiktor von der bedingten Verteilung der Antwort (über Verbindungsfunktionen) zu entkoppeln.

Kann jemand einen anderen Vorteil bieten?

self-study exponential-family

— user1337
quelle

Um die Allgemeingültigkeit der Antworten zu gewährleisten: Gibt es nützliche PDF-Dateien, die nicht zur exponentiellen Familie gehören?

— 19.

Antworten:

... warum sollten wir es studieren und anwenden?

Ich denke, Ihre Liste von Vorteilen beantwortet effektiv Ihre eigene Frage, aber lassen Sie mich einen metamathematischen Kommentar anbieten, der dieses Thema erläutern könnte. Im Allgemeinen verallgemeinern Mathematiker Konzepte und Ergebnisse gerne so weit wie möglich, bis an die Grenzen ihres Nutzens. Das heißt, wenn Mathematiker ein Konzept entwickeln und feststellen, dass ein oder mehrere nützliche Theoreme auf dieses Konzept zutreffen, werden sie im Allgemeinen versuchen, das Konzept und die Ergebnisse immer weiter zu verallgemeinern, bis sie den Punkt erreichen, an dem eine weitere Verallgemeinerung die Ergebnisse nicht mehr anwendbar macht oder nicht mehr nützlich. Wie aus Ihrer Liste hervorgeht, sind der Exponentialfamilie eine Reihe nützlicher Theoreme beigefügt, und sie umfasst eine breite Klasse von Verteilungen. Dies ist ausreichend, um es zu einem würdigen Studienobjekt und in der Praxis zu einem nützlichen mathematischen Kurs zu machen.

Kann jemand einen anderen Vorteil bieten?

Diese Klasse hat in der Bayes'schen Analyse verschiedene gute Eigenschaften. Insbesondere haben die exponentiellen Familienverteilungen immer konjugierte Prioritäten, und die resultierende posteriore prädiktive Verteilung hat eine einfache Form. Dies ist eine äußerst nützliche Klasse von Verteilungen in der Bayes'schen Statistik. Tatsächlich können Sie Bayes'sche Analysen mit konjugierten Prioren mit einem extrem hohen Grad an Allgemeingültigkeit durchführen, die alle Verteilungsfamilien in der Exponentialfamilie einschließen.

— Setzen Sie Monica wieder ein
quelle

Ich befürworte die Nominierung von "Conjugate Prior" als Grund, die exponentielle Familie zu mögen. In der Tat spielen konjugierte Prioritäten und ausreichende Statistiken sehr gut zusammen, sodass sie zusammen ganz oben auf meiner Liste der Gründe für die Verwendung der Exponentialfamilie stehen.

— Peter Leopold

Ah! Ein Bayesianer, wie ich sehe!

— Setzen Sie Monica

Woher weißt du, dass die hintere Vorhersage eine einfache Form hat? Zum Beispiel ist die posteriore Vorhersage eines normalen Modells mit unbekanntem Mittelwert und unbekannter Varianz das nichtzentrale, skalierte T des Schülers. Ist das eine einfache Form?

— Neil G

@Neil G: Bei IID-Daten aus einer Exponentialfamilie und einem konjugierten Prior ist die Vorhersageverteilung ein Verhältnis von zwei Instanzen der Normalisierungsfunktion für den Prior, wobei die Nennerargumente durch Hinzufügen der ausreichenden Statistik und Anzahl der Beobachtungen für aktualisiert werden die neuen Daten. Dies ist eine einfache und allgemeine Form für die prädiktive Verteilung, die durch Ermitteln des Normalisierungsfaktors für das Congugate Prior erhalten wird (siehe z. B. Abschnitt 9.0.5 dieser Anmerkungen ).

— Setzen Sie Monica

In Ordnung, ich verstehe. Ich habe das noch nie gesehen, danke.

— Neil G

Ich würde sagen, die überzeugendste Motivation für die Exponentialfamilien ist, dass sie bei Messungen eine minimale angenommene Verteilung aufweisen . Wenn Sie einen realen Sensor haben, dessen Messwerte nach Mittelwert und Varianz zusammengefasst sind, können Sie als Mindestannahme für seine Beobachtungen annehmen, dass sie normal verteilt sind. Jede Exponentialfamilie ist das Ergebnis einer ähnlichen Reihe von Annahmen.

Jaynes wendet sich gegen dieses Prinzip der maximalen Entropie:

„Die Maximum-Entropie-Verteilung kann aus dem positiven Grund behauptet werden, dass sie eindeutig als diejenige bestimmt wird, die in Bezug auf fehlende Informationen maximal unverbindlich ist, anstatt der negativen, für die es keinen Grund gab, anders zu denken. Das Konzept der Entropie liefert also das fehlende Auswahlkriterium… “

— Neil G
quelle