Welche Beziehung besteht zwischen der Stichprobengröße und dem Einfluss von Prior auf den posterioren Bereich?

17

Wenn wir eine kleine Stichprobengröße haben, hat die vorherige Verteilung einen großen Einfluss auf die hintere Verteilung?

bayesian sample-size prior

— toby j
quelle

5

Die Intuition ist klar: Je mehr Daten Sie haben, desto weniger müssen Sie sich auf Ihre Vorgesetzten verlassen. Nicht nur eine Statistikstunde, sondern eine Lebensstunde! ;)

— Lucas Reis

27

Ja. Die posteriore Verteilung für einen Parameter bei gegebenem Datensatz kann wie folgt geschrieben werden $\theta$ ${\bf X}$

p (θ | X) \propto \underset{l i k e l i h o o d}{\underset{⏟}{p (X | θ)}} \cdot \underset{p r i o r}{\underset{⏟}{p (θ)}}

$p(\theta | {\bf X}) \propto \underbrace{p({\bf X} | \theta)}_{{\rm likelihood}} \cdot \underbrace{p(\theta)}_{{\rm prior}}$

oder, wie es auf der Log-Skala üblicher ist,

Log (p (θ | X)) = c + L (θ; X) + Log (p (θ))

$\log( p(\theta | {\bf X}) ) = c + L(\theta;{\bf X}) + \log(p(\theta))$

Das Log-Likelihood, , skaliert mit dem Stichprobenumfang , da es eine Funktion die ist Daten, während die vorherige Dichte nicht. Daher wird mit zunehmender Stichprobengröße der Absolutwert von größer, während fest bleibt (für einen festen Wert von ), so dass Die Summe wird mit zunehmender Stichprobengröße stärker von . $L(\theta;{\bf X}) = \log \left( p({\bf X}|\theta) \right)$ $L(\theta;{\bf X})$ $\log(p(\theta))$ $\theta$ $L(\theta;{\bf X}) + \log(p(\theta))$ $L(\theta;{\bf X})$

Um Ihre Frage direkt zu beantworten: Die vorherige Verteilung wird immer weniger relevant, da sie durch die Wahrscheinlichkeit aufgewogen wird. Bei einer kleinen Stichprobengröße spielt daher die vorherige Verteilung eine viel größere Rolle. Dies stimmt mit der Intuition überein, da zu erwarten ist, dass frühere Spezifikationen eine größere Rolle spielen würden, wenn nicht viele Daten verfügbar sind, um sie zu widerlegen, während bei sehr großen Stichproben das in den Daten vorhandene Signal alle a priori überwiegt Überzeugungen wurden in das Modell aufgenommen.

— Makro
quelle

6

+1 Beachte, dass auch von abhängt .

c

$c$

n

$n$

20

Hier ist ein Versuch, den letzten Absatz in Macros exzellenter (+1) Antwort zu veranschaulichen. Es zeigt zwei Prioritäten für den Parameter in der -Verteilung. Für einige verschiedene sind die hinteren Verteilungen gezeigt, wenn beobachtet wurde. Als wächst, werden beiden Seitenzähne mehr und mehr um konzentriert . $p$ ${\rm Binomial}(n,p)$ $n$ $x=n/2$ $n$ $1/2$

Für der Unterschied ziemlich groß, aber für gibt es praktisch keinen Unterschied. $n=2$ $n=50$

Die beiden folgenden Prioren sind (schwarz) und (rot). Die Posteriors haben die gleichen Farben wie die Priors, von denen sie abgeleitet sind. ${\rm Beta(1/2,1/2)}$ ${\rm Beta(2,2)}$

Seitenzahnverteilungen

(Beachten Sie, dass für viele andere Modelle und andere Vorgänger nicht ausreicht, damit der Vorgänger keine Rolle spielt!) $n=50$

— MånsT
quelle

4

Sehr coole Illustrationen, @ MånsT. Ich habe die Wörter "Beta" und "Binomial" in Ihrer Antwort de-kursiv gesetzt - ich hoffe, es macht Ihnen nichts aus.

— Makro

Natürlich nicht, @Macro! Ich bin damit einverstanden, dass es so besser aussieht.

— MånsT