Wie hängt die inverse Gammaverteilung mit

Vorausgesetzt, dass die hintere Schätzung von einer normalen Wahrscheinlichkeit und eines inversen Gammas vor ist: $\sigma'^{2}$ $\sigma^2$

σ^{' 2} \sim IG (α + \frac{n}{2}, β + \frac{\sum_{i = 1}^{n} (y_{i} - μ)^{2}}{2})

$\sigma'^{2}\sim\textrm{IG}\left(\alpha + \frac{n}{2}, \beta +\frac{\sum_{i=1}^n{(y_i-\mu)^2}}{2}\right)$

das ist äquivalent zu

σ^{' 2} \sim IG (\frac{n}{2}, \frac{n σ^{2}}{2})

$\sigma'^{2}\sim\textrm{IG}\left( \frac{n}{2}, \frac{n\sigma^2}{2}\right)$

da eine schwache , bevor sie auf entfernt und aus Gleichung 1: $\textrm{IG}(\alpha, \beta)$ $\sigma^2$ $\alpha$ $\beta$

σ^{' 2} \sim IG (\frac{n}{2}, \frac{\sum_{i = 1}^{n} (y_{i} - μ)^{2}}{2})

$\sigma'^{2}\sim\textrm{IG}\left( \frac{n}{2}, \frac{\sum_{i=1}^n{(y_i-\mu)^2}}{2}\right)$

Es ist offensichtlich, dass die hintere Schätzung von eine Funktion der Stichprobengröße und der Summe der Quadrate der Wahrscheinlichkeit ist. Aber was bedeutet das? Es gibt eine Ableitung auf Wikipedia , der ich nicht ganz folge. $\sigma^2$

Ich habe folgende Fragen

Kann ich zu dieser zweiten Gleichung gelangen, ohne die Bayes-Regel aufzurufen? Ich bin gespannt, ob den Parametern einer IG etwas inhärent ist, das sich auf den Mittelwert und die Varianz bezieht, unabhängig von der normalen Wahrscheinlichkeit.
Kann ich die Stichprobengröße und die Standardabweichung von einer früheren Studie verwenden, um einen informierten Prior auf zu schätzen und den Prior dann mit neuen Daten zu aktualisieren? Dies scheint unkompliziert zu sein, aber ich kann keine Beispiele dafür oder Gründe dafür finden, warum dies ein legitimer Ansatz wäre - außer dem, was im hinteren Bereich zu sehen ist. $\sigma^2$
Gibt es ein beliebtes Wahrscheinlichkeits- oder Statistiklehrbuch, das ich zur weiteren Erklärung heranziehen kann?

bayesian prior conjugate-prior

— Abe
quelle

Meinen Sie nicht eine inverse Gamma-Wahrscheinlichkeit und eine inverse Gamma-Wahrscheinlichkeit?

— Neil G

Zunächst sehe ich in Ihrer Frage einige Missverständnisse: Aus dem Bayes-Theorem erhalten Sie keine hintere Schätzung, sondern die gesamte hintere Verteilung. Der zweite Punkt ist, dass diese hintere Verteilung nicht von "der Summe der Quadrate der Wahrscheinlichkeit" abhängt. Es hängt einfach von der Größe Ihrer Stichprobe (nämlich n) und den Stichprobenwerten ab, was völlig natürlich und vernünftig ist. Diese Abhängigkeiten wirken sich auf Ihre posterioren Schätzungen von Mittelwert, Varianz usw. aus. Beispielsweise ist Ihr posteriorer Mittelwert des Varianzparameters gleich

\frac{1}{n - 2} \sum {(y_{i} - μ)}^{2}

$\frac{1}{n-2}\sum \left ( y_{i}-\mu \right )^{2}$

— Tomas

@thomas mit Schätzung meinte ich Schätzung der posterioren Verteilung;. Ist die Summe der Quadrate im posterioren Bereich nicht genau die gleiche Berechnung wie der ss-Term im Normalfall?

— Abe

@Abe Ich habe kürzlich eine Frage zu Ihrer Frage Nr. 1 gestellt (und beantwortet). 2. Es wird der SD und der SD der SD gegeben, wie das entsprechende Gamma vor der Genauigkeit einer Normalverteilung berechnet wird: Die Frage ist hier: stats.stackexchange.com/questions/41187/…

— Rasmus Bååth

Antworten:

Ich denke, es ist richtiger, von der posterioren Verteilung Ihres Parameters zu sprechen, als von seiner posterioren Schätzung. Zur Klarheit der Notationen werde ich im Folgenden die Primzahl in . $\sigma'^{2}$ $\sigma'^{2}$

Angenommen, als verteilt , - I fallen für jetzt ein heuristisches Beispiel zu machen - und verteilt sich wie und ist unabhängig von . $X$ $\mathcal{N}(0, \sigma^2)$ $\mu$ $1/\sigma^2 = \sigma^{-2}$ $\Gamma(\alpha, \beta)$ $X$

Das PDF von mit ist Gaußsch, dh $X$ $\sigma^{-2}$

f (x | σ^{- 2}) = \frac{1}{\sqrt{2 π σ^{2}}} \exp (- \frac{x^{2}}{2 σ^{2}}) .

$f(x|\sigma^{-2}) = \frac{1}{\sqrt{2\pi \sigma^2}} \exp\left(-\frac{x^2}{2\sigma^2}\right).$

$(X, \sigma^{-2})$ $f(x,\sigma^{-2})$ $f(x|\sigma^{-2})$ $g(\sigma^{-2})$ $\sigma^{-2}$

f (x, σ^{- 2}) = \frac{1}{\sqrt{2 π σ^{2}}} \exp (- \frac{x^{2}}{2 σ^{2}}) \frac{β^{α}}{Γ (α)} \exp (- \frac{β}{σ^{2}}) \frac{1}{σ^{2 (α - 1)}} .

$f(x, \sigma^{-2}) = \frac{1}{\sqrt{2\pi \sigma^2}} \exp\left(-\frac{x^2}{2\sigma^2}\right) \frac{\beta^{\alpha}}{\Gamma(\alpha)}\exp \left(-\frac{\beta}{ \sigma^2}\right)\frac{1}{\sigma^{2(\alpha-1)}}.$

Wir können ähnliche Begriffe gruppieren und wie folgt umschreiben

f (x, σ^{- 2}) \propto σ^{- 2 (α - 1 / 2)} \exp (- σ^{- 2} (β + x^{2} / 2)) .

$f(x, \sigma^{-2}) \propto \sigma^{-2(\alpha-1/2)} \exp\left(-\sigma^{-2} \left(\beta + x^2/2 \right)\right).$

$\sigma^{-2}$ $\sigma^{-2}$ $x$ $f(x, \sigma^{-2}) / f(x)$ $f(\sigma^{-2}|x)$ $f(x, \sigma^{-2})$ $\Gamma$ $\sigma^{-2}$ $f(x)$

f (x) \propto (β + x^{2} / 2)^{- (α + 1 / 2)},

$f(x) \propto (\beta + x^2/2)^{-(\alpha+1/2)},$

Durch Teilen erhalten wir also

f (σ^{- 2} | x) \propto (β + x^{2} / 2) {(σ^{- 2} (β + x^{2} / 2))}^{α - 1 / 2} \exp (- σ^{- 2} (β + x^{2} / 2)) \propto {(σ^{- 2} (β + x^{2} / 2))}^{α - 1 / 2} \exp (- σ^{- 2} (β + x^{2} / 2)) .

$f(\sigma^{-2}|x) \propto \left(\beta + x^2/2 \right) \left( \sigma^{-2} \left(\beta + x^2/2 \right) \right)^{\alpha-1/2} \exp\left(-\sigma^{-2} \left(\beta + x^2/2 \right)\right) \\ \propto \left( \sigma^{-2} \left(\beta + x^2/2 \right) \right)^{\alpha-1/2} \exp\left(-\sigma^{-2} \left(\beta + x^2/2 \right)\right).$

$\Gamma$ $(\alpha + 1/2, \beta + x^2/2)$

$((x_1, \sigma_1^{-2}), ..., (x_n, \sigma^{-2}_n))$ $\sigma_i^{-2}$ $f(x_1, ..., x_n)$ $f(\sigma_1^{-2}, ..., \sigma_n^{-2}|x_1, ..., x_n)$

f (σ_{1}^{- 2}, . . ., σ_{n}^{- 2} | x_{1}, . . ., x_{n}) \propto \prod_{i = 1}^{n} {(σ_{i}^{- 2} (β + x_{i}^{2} / 2))}^{α - 1 / 2} \exp (- σ_{i}^{- 2} (β + x_{i}^{2} / 2)),

$f(\sigma_1^{-2}, ..., \sigma_n^{-2}|x_1, ..., x_n) \propto \prod_{i=1}^n \left( \sigma_i^{-2} \left(\beta + x_i^2/2 \right) \right)^{\alpha-1/2} \exp\left(-\sigma_i^{-2} \left(\beta + x_i^2/2 \right)\right),$

$\Gamma$ $\sigma_i^{-2}$ $\Gamma$

$x_i$ $\sigma^{-2}$ $\sigma^{-2}$ $\Gamma(\alpha, \beta)$ $x_i$ $\sigma^{-2}$

f (x_{1}, . . ., x_{n}, σ^{- 2}) \propto σ^{- 2 (α + n / 2)} \exp (- σ^{- 2} (β + \frac{1}{2} \sum_{i = 1}^{n} x_{i}^{2})),

$f(x_1, ..., x_n, \sigma^{-2}) \propto \sigma^{-2 (\alpha + n/2)} \exp\left(-\sigma^{-2} \left(\beta + \frac{1}{2} \sum_{i=1}^n x_i^2\right) \right),$

$\sigma^{-2}$

$\sigma^{-2}$ $\Gamma$ $\alpha$ $\beta$ $n$ $\sigma^{-2}$ $\alpha/\beta$ $\alpha/\beta^2$ $\alpha = \beta$ $\sigma^{-2}$ weil die Varianz riesig wird. Da die Werte klein sind, können Sie sie aus den obigen Gleichungen entfernen und erhalten Ihre Gleichung 3.

$\Gamma$ $S^2$ $\sigma^2$

In Bezug auf Ihre Frage 2 können Sie natürlich die in einem früheren Experiment erhaltenen Werte als Ihre Prioritäten verwenden. Da wir oben eine Parallele zwischen Bayes'scher und frequentistischer Interpretation hergestellt haben, können wir näher darauf eingehen und sagen, dass es so ist, als würde man eine Varianz aus einer kleinen Stichprobengröße berechnen und dann mehr Datenpunkte sammeln: Sie würden Ihre Schätzung der Varianz aktualisieren, anstatt sie wegzuwerfen die ersten Datenpunkte.

Zu Ihrer Frage 3. Ich mag die Einführung in die mathematische Statistik von Hogg, McKean und Craig, die normalerweise Einzelheiten zur Ableitung dieser Gleichungen enthält.

— gui11aume
quelle

Für Frage 1 folgt die zweite Gleichung aus der Bayes-Regel, wie Sie hervorheben, und ich sehe keinen Weg, dies zu vermeiden.

Bei Frage 2 können Sie dies tun. Verwenden Sie einfach einen Prior derselben Form wie Ihre zweite Gleichung.

Bei Frage 3 würde ich etwas über exponentielle Familien suchen. Vielleicht wird jemand eine gute Ressource empfehlen.

— Neil G.
quelle