Beispiele dafür, wann Konfidenzintervall und glaubwürdiges Intervall zusammenfallen

In dem Wikipedia-Artikel über glaubwürdiges Intervall heißt es:

Für den Fall eines einzelnen Parameters und von Daten, die in einer einzigen ausreichenden Statistik zusammengefasst werden können, kann gezeigt werden, dass das glaubwürdige Intervall und das Konfidenzintervall zusammenfallen, wenn der unbekannte Parameter ein Standortparameter ist (dh die Vorwärtswahrscheinlichkeitsfunktion hat die Form Pr (x | μ) = f (x - μ)) mit einem Prior, der eine gleichmäßige flache Verteilung ist; [5] und auch wenn der unbekannte Parameter ein Skalenparameter ist (dh die Vorwärtswahrscheinlichkeitsfunktion hat die Form Pr (x) | s) = f (x / s)), mit einem Jeffreys-Prior [5] - letzteres folgt, weil der Logarithmus eines solchen Skalierungsparameters ihn in einen Ortsparameter mit einer gleichmäßigen Verteilung verwandelt. Dies sind jedoch ausgesprochen spezielle (wenn auch wichtige) Fälle; im allgemeinen kann keine solche Äquivalenz hergestellt werden. "

Könnten die Leute konkrete Beispiele dafür nennen? Wann entspricht der 95% CI tatsächlich der "95% Chance" und "verletzt" damit die allgemeine Definition des CI?

confidence-interval credible-interval

— Wayne
quelle

Normalverteilung:

Nehmen Sie eine Normalverteilung mit bekannter Varianz. Wir können diese Varianz als 1 annehmen, ohne die Allgemeinheit zu verlieren (indem wir einfach jede Beobachtung durch die Quadratwurzel der Varianz teilen). Dies hat Stichprobenverteilung:

p (X_{1} . . . X_{N} | μ) = {(2 π)}^{- \frac{N}{2}} \exp (- \frac{1}{2} \sum_{i = 1}^{N} (X_{i} - μ)^{2}) = A \exp (- \frac{N}{2} (\bar{X} - μ)^{2})

$p(X_{1}...X_{N}|\mu)=\left(2\pi\right)^{-\frac{N}{2}}\exp\left(-\frac{1}{2}\sum_{i=1}^{N}(X_{i}-\mu)^{2}\right)=A\exp\left(-\frac{N}{2}(\overline{X}-\mu)^{2}\right)$

Wobei eine Konstante ist, die nur von den Daten abhängt. Dies zeigt, dass der Stichprobenmittelwert eine ausreichende Statistik für den Populationsmittelwert ist. Wenn wir einen einheitlichen Prior verwenden, ist die hintere Verteilung für : $A$ $\mu$

(μ | X_{1} . . . X_{N}) \sim N o r m a l (\bar{X}, \frac{1}{N}) ⟹ (\sqrt{N} (μ - \bar{X}) | X_{1} . . . X_{N}) \sim N o r m a l (0, 1)

$(\mu|X_{1}...X_{N})\sim Normal\left(\overline{X},\frac{1}{N}\right)\implies \left(\sqrt{N}(\mu-\overline{X})|X_{1}...X_{N}\right)\sim Normal(0,1)$

Ein glaubwürdiges Intervall hat also die Form: $1-\alpha$

(\bar{X} + \frac{1}{\sqrt{N}} L_{α}, \bar{X} + \frac{1}{\sqrt{N}} U_{α})

$\left(\overline{X}+\frac{1}{\sqrt{N}}L_{\alpha},\overline{X}+\frac{1}{\sqrt{N}}U_{\alpha}\right)$

Wobei und so gewählt werden, dass eine normale Standardzufallsvariable erfüllt: $L_{\alpha}$ $U_{\alpha}$ $Z$

P r (L_{α} < Z < U_{α}) = 1 - α

$Pr\left(L_{\alpha}<Z<U_{\alpha}\right)=1-\alpha$

Nun können wir von dieser "Schlüsselgröße" zur Erstellung eines Konfidenzintervalls ausgehen. Die Stichprobenverteilung von für festes ist eine Standardnormalverteilung, daher können wir diese in die obige Wahrscheinlichkeit einsetzen: $\sqrt{N}(\mu-\overline{X})$ $\mu$

P r (L_{α} < \sqrt{N} (μ - \bar{X}) < U_{α}) = 1 - α

$Pr\left(L_{\alpha}<\sqrt{N}(\mu-\overline{X})<U_{\alpha}\right)=1-\alpha$

Ordnen Sie dann neu an, um nach zu lösen , und das Konfidenzintervall entspricht dem glaubwürdigen Intervall. $\mu$

Skalierungsparameter:

Für Skalierungsparameter haben die PDFs die Form . Wir können die , die . Die gemeinsame Stichprobenverteilung ist: $p(X_{i}|s)=\frac{1}{s}f\left(\frac{X_{i}}{s}\right)$ $(X_{i}|s)\sim Uniform(0,s)$ $f(t)=1$

p (X_{1} . . . X_{N} | s) = s^{- N} 0 < X_{1} . . . X_{N} < s

$p(X_{1}...X_{N}|s)=s^{-N}\;\;\;\;\;\;\;0<X_{1}...X_{N}<s$

Daraus ergibt sich die ausreichende Statistik, um (dem Maximum der Beobachtungen) zu entsprechen. Wir finden jetzt seine Stichprobenverteilung: $X_{max}$

P r (X_{m a x} < y | s) = P r (X_{1} < y, X_{2} < y . . . X_{N} < y | s) = {(\frac{y}{s})}^{N}

$Pr(X_{max}<y|s)=Pr(X_{1}<y,X_{2}<y...X_{N}<y|s)=\left(\frac{y}{s}\right)^{N}$

Jetzt können wir dies unabhängig vom Parameter machen, indem wir . Dies bedeutet, dass unsere "Schlüsselgröße" durch mit was die -Verteilung ist. Wir können also Verwendung der Beta-Quantile so auswählen dass: $y=qs$ $Q=s^{-1}X_{max}$ $Pr(Q<q)=q^{N}$ $beta(N,1)$ $L_{\alpha},U_{\alpha}$

P r (L_{α} < Q < U_{α}) = 1 - α = U_{α}^{N} - L_{α}^{N}

$Pr(L_{\alpha}<Q<U_{\alpha})=1-\alpha=U_{\alpha}^{N}-L_{\alpha}^{N}$

Und wir ersetzen die zentrale Menge:

P r (L_{α} < s^{- 1} X_{m a x} < U_{α}) = 1 - α = P r (X_{m a x} L_{α}^{- 1} > s > X_{m a x} U_{α}^{- 1})

$Pr(L_{\alpha}<s^{-1}X_{max}<U_{\alpha})=1-\alpha=Pr(X_{max}L_{\alpha}^{-1}>s>X_{max}U_{\alpha}^{-1})$

Und da ist unser Konfidenzintervall. Für die Bayes'sche Lösung mit Jeffreys vor haben wir:

p (s | X_{1} . . . X_{N}) = \frac{s^{- N - 1}}{\int_{X_{m a x}}^{\infty} r^{- N - 1} d r} = N (X_{m a x})^{N} s^{- N - 1}

$p(s|X_{1}...X_{N})=\frac{s^{-N-1}}{\int_{X_{max}}^{\infty}r^{-N-1}dr}=N (X_{max})^{N}s^{-N-1}$

⟹ P r (s > t | X_{1} . . . X_{N}) = N (X_{m a x})^{N} \int_{t}^{\infty} s^{- N - 1} d s = {(\frac{X_{m a x}}{t})}^{N}

$\implies Pr(s>t|X_{1}...X_{N})=N (X_{max})^{N}\int_{t}^{\infty}s^{-N-1}ds=\left(\frac{X_{max}}{t}\right)^{N}$

Wir schließen jetzt das Konfidenzintervall an und berechnen seine Glaubwürdigkeit

P r (X_{m a x} L_{α}^{- 1} > s > X_{m a x} U_{α}^{- 1} | X_{1} . . . X_{N}) = {(\frac{X_{m a x}}{X_{m a x} U_{α}^{- 1}})}^{N} - {(\frac{X_{m a x}}{X_{m a x} L_{α}^{- 1}})}^{N}

$Pr(X_{max}L_{\alpha}^{-1}>s>X_{max}U_{\alpha}^{-1}|X_{1}...X_{N})=\left(\frac{X_{max}}{X_{max}U_{\alpha}^{-1}}\right)^{N}-\left(\frac{X_{max}}{X_{max}L_{\alpha}^{-1}}\right)^{N}$

= U_{α}^{N} - L_{α}^{N} = P r (L_{α} < Q < U_{α})

$=U_{\alpha}^{N}-L_{\alpha}^{N}=Pr(L_{\alpha}<Q<U_{\alpha})$

Und Presto, wir haben Glaubwürdigkeit und Abdeckung. $1-\alpha$

— Wahrscheinlichkeitslogik
quelle

Ein Meisterwerk, danke! Ich hatte gehofft, dass es eine Antwort geben könnte wie: "Bei der Berechnung des Mittelwerts einer Stichprobe aus einer Normalverteilung ist der 95% CI tatsächlich auch das 95% glaubwürdige Intervall" oder so etwas Einfaches. (

— Wayne

Ich glaube, dass ein häufiges 95% -Vorhersage- / Toleranzintervall einem Bayes'schen Vorhersageintervall mit OLS-Regression und normalen Fehlern entspricht. Es scheint jedenfalls so, wenn ich die Antwort von Predict.lm mit einer simulierten Antwort vergleiche. Ist das wahr?

— Wayne

Wenn Sie für eine einheitliche Priorität für und jeffreys für , haben Sie eine Äquivalenz.

Y = α + β X

$Y=\alpha+\beta X$

α, β

$\alpha,\beta$

σ

$\sigma$

— Wahrscheinlichkeitslogik

Vielen Dank! Ich habe versucht, ein CI für eine Regression zu erklären, die ich in Bezug auf ein Konfidenzintervall durchgeführt habe, und es verbindet sich einfach nicht mit einem Laienpublikum, das ein glaubwürdiges Intervall erwartet. Erleichtert mir das Leben viel mehr ... obwohl es vielleicht schlecht für die gesamte statistische Welt ist, da es das Missverständnis des Laien über CIs verstärkt.

— Wayne

@Wayne - die Situation ist etwas allgemeiner als nur Familien mit Standortskala. Normalerweise entspricht ein CI einem glaubwürdigen Intervall, wenn es auf einer "ausreichenden Statistik" (wie diese beiden) basiert, in der dies existiert. Wenn keine ausreichende Statistik vorhanden ist, muss CI von sogenannten "Zusatzstatistiken" abhängig sein, um eine glaubwürdige Intervallinterpretation zu erhalten.

— Wahrscheinlichkeitslogik