Haben Sie ein Konjugat vor: Tiefes Eigentum oder mathematischer Unfall?

Einige Distributionen haben konjugierte Prioritäten, andere nicht. Ist diese Unterscheidung nur ein Unfall? Das heißt, Sie rechnen nach, und es funktioniert auf die eine oder andere Weise, aber es sagt Ihnen nichts wirklich Wichtiges über die Verteilung aus, außer der Tatsache selbst?

Oder spiegelt die Anwesenheit oder Abwesenheit eines konjugierten Vorgängers eine tiefere Eigenschaft einer Verteilung wider? Haben Verteilungen mit konjugierten Prioritäten eine andere interessante Eigenschaft oder Eigenschaften gemeinsam, die anderen Verteilungen fehlen und die dazu führen, dass diese Verteilungen und nicht die anderen eine konjugierte Priorität haben?

bayesian mathematical-statistics conjugate-prior

— andrewH
quelle

Nun, Sie sollten wissen, dass jede Distribution, die als Mitglied der regulären Exponentialfamilie geschrieben werden kann, ein Konjugat vor sich haben muss.

Kennen wir eine interessante Klasse von Distributionen, von denen definitiv gezeigt wurde, dass sie keine konjugierten Prioritäten haben? Ich kenne nur sehr wenige Distributionen mit 3 oder mehr Parametern, für die CPs bekannt sind, bin mir jedoch nicht sicher, ob wir wissen, dass diese nicht vorhanden sind, oder weiß nur, dass wir sie nicht gefunden haben.

— andrewH

Interessant. Es könnte als eine Eigenschaft des Operateurs angesehen werden, der den Patienten vor dem Seitenzahn befördert, und zwar in derselben parametrischen Familie. Interessanter ist vielleicht, dass es sich um eine Verschlusseigenschaft des Tripletts handelt (vorherige Verteilung, Stichprobenverteilung, Bayes-Aktualisierungsoperator).

— JohnRos

@JohnRos. Ich mag deine Denkweise.

— AndrewH

Seien Sie in Bezug auf Ihre Eröffnungsaussage vorsichtig mit dem trivialen Fall von Priors, bei dem die gesamte Masse in einem einzigen Wert des Parameterraums abgelegt ist (nicht wirklich nützlich, um Schlüsse zu ziehen, oder?). Der Satz von Bayes zeigt, dass dies konjugierte Primzahlen für jedes Modell sind. Natürlich repräsentieren sie das Vorwissen von jemandem mit "festen Ideen".

— Zen

Antworten:

Es ist kein Zufall. Hier finden Sie eine kurze, sehr schöne Rezension über konjugierte Priors. Konkret wird erwähnt, dass Sie, wenn für die gegebene Wahrscheinlichkeitsfunktion eine Reihe ausreichender Statistiken mit fester Dimension vorhanden ist, ein vorheriges Konjugat erstellen können. Wenn Sie über ausreichende Statistiken verfügen, können Sie die Wahrscheinlichkeit in einer Form faktorisieren, mit der Sie die Parameter rechnerisch effizient abschätzen können.

Außerdem ist es mit konjugierten Prioren nicht nur rechnerisch bequem. Es sorgt auch für eine Glättung und ermöglicht das Arbeiten mit sehr wenigen oder gar keinen vorherigen Proben, was für Probleme wie Entscheidungsfindung erforderlich ist, wenn Sie nur sehr wenige Beweise haben.

— jpmuc
quelle

Ich bin sehr neu in der Bayes'schen Statistik, aber es scheint mir, dass alle diese Verteilungen (und wenn nicht alle, dann zumindest diejenigen, die nützlich sind) die Eigenschaft haben, dass sie durch eine eingeschränkte Metrik über die Beobachtungen, die sie definieren, beschrieben werden . Dh für eine normale Verteilung müssen Sie nicht jedes Detail über jede Beobachtung kennen, nur die Gesamtzahl und die Summe.

Anders ausgedrückt, wenn Sie die Klasse / Familie der Verteilung bereits kennen, weist die Verteilung eine streng niedrigere Informationsentropie auf als die Beobachtungen, die zu ihr geführt haben.

Scheint das trivial, oder ist es das, wonach Sie suchen?

— Fabio Beltramini
quelle

Welche Eigenschaften "tief" sind, ist ein sehr subjektives Problem! Die Antwort hängt also von Ihrem Konzept von "tief" ab. Aber wenn es in gewissem Sinne eine "tiefe" Eigenschaft ist, konjugierte Prioritäten zu haben, dann ist dieser Sinn mathematisch und nicht statistisch. Der einzige Grund, warum (einige) Statistiker an konjugierten Priors interessiert sind, ist, dass sie einige Berechnungen vereinfachen. Aber das ist weniger wichtig für jeden Tag, der vergeht!

 EDIT

$h$ $[0,1]$ $f(p;\alpha,\beta)$ $h(p)f(p;\alpha,\beta)$

E {E (θ ∣ X = x)} = a x + b

$\DeclareMathOperator{\E}{\mathbb{E}} \E \left\{ \E (\theta \mid X=x)\right\} = ax+b$

a, b

$a,b$

$\text{prior}\times\text{likelihood}$ frühere Dateninterpretationen zu den Parametern in den (üblichen) aufgeführten Konjugatfamilien.

Zusammenfassend können die üblichen konjugierten Familien in Exponentialfamilien als Prioritäten, die zu linearen Methoden führen, oder als Prioritäten, die aus der Darstellung früherer Daten stammen, gerechtfertigt werden. Hoffe diese erweiterte Antwort hilft!

— kjetil b halvorsen
quelle

Dies ist wirklich ein Kommentar, keine Antwort, @kjetil. Es sollte in eine Antwort ausgearbeitet oder in einen Kommentar umgewandelt werden.

— gung - Wiedereinsetzung von Monica

@gung Ich zögere es, diese Antwort in einen Kommentar umzuwandeln, da sie anscheinend als Antwort interpretiert werden kann : Es wird behauptet, dass die Existenz eines konjugierten Priores abgesehen von der Vereinfachung der Berechnungen von geringer Bedeutung ist. (Ich glaube, es mag Gründe geben, die Gültigkeit dieser Behauptung zu bestreiten, aber falsch zu sein, ist nicht dasselbe wie nicht zu antworten!)

— whuber

@whuber: aus welchen gründen, abgesehen von der rechenvereinfachung, denkst du? Ich werde versuchen, auf die anserv zu erweitern ...

— kjetil b halvorsen

Denn eine explizite mathematische Formulierung einer Beziehung kann analysiert und verstanden werden, während ein reines Rechenergebnis genau das ist - ein Ergebnis, das normalerweise keine verallgemeinerbaren Einsichten bietet. Es ist wie der Unterschied zwischen einer Landkarte, auf der Sie lernen und lernen können, und einem GPS-Gerät, das nur mit Sprache funktioniert und Wegbeschreibungen enthält. Beide bringen Sie von einem Punkt zum anderen, aber der erstere sagt Ihnen viel mehr über den Raum, durch den Sie fahren.

— Whuber