Entspricht die Zurückweisung der Hypothese mit dem p-Wert der Hypothese, die nicht zum Konfidenzintervall gehört?

Während ich formal das Konfidenzintervall einer Schätzung ableitete, kam ich zu einer Formel, die der Berechnung des Werts sehr ähnlich ist. $p$

Daher die Frage: Sind sie formal gleichwertig? Dh lehnt eine Hypothese mit einem kritischen Wert gleich nicht zum Konfidenzintervall mit kritischem Wert ? $H_0 = 0$ $\alpha$ $0$ $\alpha$

hypothesis-testing confidence-interval p-value

— Jorge Leitao
quelle

@f coppens: Ja, wenn zwei Tests mit unterschiedlichen Statistiken verwendet werden, ergeben sich zwei unterschiedliche Konfidenzintervalle. Ich denke jedoch, dass das OP eine grundlegende Tatsache entdeckt hat: Sowohl das Konfidenzintervall als auch der p-Wert werden aus der Verteilung derselben Statistik erhalten, sodass beide verwendet werden können, um zu entscheiden, ob die Nullhypothese zurückgewiesen wird oder nicht.

— StijnDeVuyst

@StijnDeVuyst: Das Clopper / Pearon-Intervall für eine Proportion und das Sterne-Intervall für eine Proportion werden beide aus der Binomialverteilung mit derselben Größe abgeleitet (das p ist unbekannt, da sie ein Konfidenzintervall für p finden). Der Unterschied zwischen Clopper / Pearson und Sterne ist auf die Asymmetrie der Binomialdichte zurückzuführen. Das Sterne-Intervall versucht, die Breite des Intervalls zu minimieren, und Clopper_pearson versucht, die Symmetrie beizubehalten (aufgrund der Schiefe des Binoms kann dies jedoch nur ungefähr gefunden werden).

Im Allgemeinen nicht, nein. Betrachten Sie Fälle, in denen die Breite des Intervalls eine Funktion des geschätzten Parameterwerts ist, während die Breite des Intervalls für den Test eine Funktion des hypothetischen Werts ist. Ein naheliegendes Beispiel wäre das Testen eines Binomials p. Verwenden wir die normalen ca. der Einfachheit halber (obwohl die Form des Arguments nicht darauf beruht). Betrachte n = 10 und eine Null von p = 0,5. Stellen Sie sich vor, Sie beobachten zwei Köpfe. Die Null wird nicht zurückgewiesen (weil "2" innerhalb eines 95% -Intervalls von etwa 0,5 liegt), aber der CI für p enthält nicht 0,5 (weil der CI enger ist als die Intervallbreite unter der Null.

— Glen_b -Reinstate Monica

Oder wenn es groß genug sein soll, dass die normale ungefähre Größe gut ist, versuchen Sie es mit 469 Köpfen in 1000 Würfen, für H0 p = 0,5; Wiederum enthält der 95% CI für p nicht 0,5, aber der 5% Test wird nicht zurückgewiesen, da die entsprechende Intervallbreite unter H0 breiter ist als unter der Alternative (woraus Sie den CI machen).

— Glen_b

@ Glen_b: Es scheint, dass diese neuere Frage stats.stackexchange.com/questions/173005 ein Beispiel für genau die Situation bietet, die Sie hier beschrieben haben.

— Amöbe sagt Reinstate Monica

Ja und nein.

Zuerst das "Ja"

Was Sie beobachtet haben, ist, dass, wenn ein Test und ein Konfidenzintervall auf derselben Statistik basieren, es eine Äquivalenz zwischen ihnen gibt: Wir können den Wert als den kleinsten Wert von interpretieren, für den der Nullwert des Parameters würde in das Konfidenzintervall einbezogen . $p$ $\alpha$ $1-\alpha$

Sei ein unbekannter Parameter im Parameterraum , und sei die Stichprobe ist eine Realisierung der Zufallsvariablen . Definieren Sie der Einfachheit halber ein Konfidenzintervall als ein zufälliges Intervall, so dass dessen Überdeckungswahrscheinlichkeit (Sie könnten auch allgemeinere Intervalle in Betracht ziehen, bei denen die Wahrscheinlichkeit der Erfassung entweder durch begrenzt ist oder ungefähr gleich . Die Begründung ist analog.) $\theta$ $\Theta\subseteq\mathbb{R}$ $\mathbf{x}=(x_1,\ldots,x_n)\in\mathcal{X}^ n\subseteq\mathbb{R}^n$ $\mathbf{X}=(X_1,\ldots,X_n)$ $I_\alpha(\mathbf{X})$

P_{θ} (θ \in I_{α} (X)) = 1 - α for all α \in (0, 1) .

$P_\theta(\theta\in I_\alpha(\mathbf{X}))= 1-\alpha\qquad\mbox{for all }\alpha\in(0,1).$

1 - α

$1-\alpha$

Betrachten Sie einen zweiseitigen Test der Punkt-Null-Hypothese gegen die Alternative . Es sei der p-Wert des Tests. Für jede , wird auf der Ebene abgelehnt wenn . Die Stufe Zurückweisungsregion ist die Menge von die zur Zurückweisung von : $H_0(\theta_0): \theta=\theta_0$ $H_1(\theta_0): \theta\neq \theta_0$ $\lambda(\theta_0,\mathbf{x})$ $\alpha\in(0,1)$ $H_0(\theta_0)$ $\alpha$ $\lambda(\theta_0,x)\leq\alpha$ $\alpha$ $\mathbf{x}$ $H_0(\theta_0)$

R_{α} (θ_{0}) = {x \in R^{n} : λ (θ_{0}, x) \leq α} .

$R_\alpha(\theta_0)=\{\mathbf{x}\in\mathbb{R}^n: \lambda(\theta_0,\mathbf{x})\leq\alpha\}.$

Betrachten Sie nun eine Familie von zweiseitigen Tests mit p-Werten für . Für eine solche Familie können wir einen invertierten Zurückweisungsbereich $\lambda(\theta,\mathbf{x})$ $\theta\in\Theta$

Q_{α} (x) = {θ \in Θ : λ (θ, x) \leq α} .

$Q_\alpha(\mathbf{x})=\{\theta\in\Theta: \lambda(\theta,\mathbf{x})\leq\alpha\}.$

Für jedes feste ; wird abgelehnt, wenn ; , was genau dann geschieht, wenn & ; das heißt, Wenn der Test auf einer Teststatistik mit einer vollständig spezifizierten absolut kontinuierlichen basiert, dann ist unter . Dann ist Da diese Gleichung für jedes $\theta_0$ $H_0(\theta_0)$ $\mathbf{x}\in R_\alpha(\theta_0)$ $\theta_0\in Q_\alpha(\mathbf{x})$

x \in R_{α} (θ_{0}) \Leftrightarrow θ_{0} \in Q_{α} (x) .

$\mathbf{x}\in R_\alpha(\theta_0) \Leftrightarrow \theta_0\in Q_\alpha(\mathbf{x}).$

λ (θ_{0}, X) \sim U (0, 1)

$\lambda(\theta_0,\mathbf{X})\sim \mbox{U}(0,1)$

H_{0} (θ_{0})

$H_0(\theta_0)$

P_{θ_{0}} (X \in R_{α} (θ_{0})) = P_{θ_{0}} (λ (θ_{0}, X) \leq α) = α .

$P_{\theta_0}(\mathbf{X}\in R_\alpha(\theta_0))=P_{\theta_0}(\lambda(\theta_0,\mathbf{X})\leq\alpha)=\alpha.$

θ_{0} \in Θ

$\theta_0\in\Theta$ und da die obige Gleichung impliziert, dass folgt, dass die Zufallsmenge den wahren Parameter mit der Wahrscheinlichkeit . Wenn das Komplement von , haben wir für alle was bedeutet, dass das Komplement der invertierten Zurückweisungsregion ein Konfidenzintervall für .

P_{θ_{0}} (X \in R_{α} (θ_{0})) = P_{θ_{0}} (θ_{0} \in Q_{α} (X)),

$P_{\theta_0}(\mathbf{X}\in R_\alpha(\theta_0))=P_{\theta_0}(\theta_0\in Q_\alpha(\mathbf{X})),$

Q_{α} (x)

$Q_\alpha(\mathbf{x})$

θ_{0}

$\theta_0$

α

$\alpha$

Q_{α}^{C} (x)

$Q_\alpha^C(\mathbf{x})$

Q_{α} (x)

$Q_\alpha(\mathbf{x})$

θ_{0} \in Θ

$\theta_0\in\Theta$

P_{θ_{0}} (θ_{0} \in Q_{α}^{C} (X)) = 1 - α,

$P_{\theta_0}(\theta_0\in Q_\alpha^C(\mathbf{X}))=1-\alpha,$

1 - α

$1-\alpha$

θ

$\theta$

Nachfolgend wird eine Abbildung gezeigt, die die Abstoßungsbereiche und Konfidenzintervalle zeigt, die dem Test für einen normalen Mittelwert für verschiedene Nullmittelwerte und verschiedene Stichprobenmittelwerte mit . wird verworfen, wenn im schattierten hellgrauen Bereich liegt. Dunkelgrau dargestellt ist der Zurückweisungsbereich und das Konfidenzintervall . $z$ $\theta$ $\bar{x}$ $\sigma=1$ $H_0(\theta)$ $(\bar{x},\theta)$ $R_{0.05}(-0.9)=(-\infty,-1.52)\cup(-0.281,\infty)$ $I_{0.05}(1/2)=Q_{0.05}^C(1/2)=(-0.120,1.120)$

(Ein Großteil davon stammt aus meiner Doktorarbeit .)

Nun zum "Nein"

Oben habe ich die Standardmethode zum Erstellen von Konfidenzintervallen beschrieben. In diesem Ansatz verwenden wir eine Statistik, die sich auf den unbekannten Parameter bezieht, um das Intervall zu konstruieren. Es gibt auch Intervalle, die auf Minimierungsalgorithmen basieren und versuchen, die Länge der Intervallbedingung für den Wert von zu minimieren . In der Regel entsprechen solche Intervalle keinem Test. $\theta$ $X$

Dieses Phänomen hat mit Problemen zu tun, die damit zusammenhängen, dass solche Intervalle nicht verschachtelt sind, was bedeutet, dass das 94% -Intervall kürzer sein kann als das 95% -Intervall. Weitere Informationen hierzu finden Sie in Abschnitt 2.5 meines jüngsten Papiers (erscheint in Bernoulli).

Und ein zweites "Nein"

In einigen Fällen basiert das Standard-Konfidenzintervall nicht auf derselben Statistik wie der Standardtest (wie in diesem Artikel von Michael Fay erläutert ). In diesen Fällen liefern Konfidenzintervalle und Tests möglicherweise nicht dieselben Ergebnisse. Zum Beispiel kann vom Test zurückgewiesen werden, obwohl 0 im Konfidenzintervall enthalten ist. Dies widerspricht nicht dem obigen "Ja", da unterschiedliche Statistiken verwendet werden. $\theta_0=0$

Und manchmal ist "ja" keine gute Sache

Wie von f coppens in einem Kommentar hervorgehoben, haben Intervalle und Tests manchmal etwas widersprüchliche Ziele. Wir wollen kurze Intervalle und Tests mit hoher Leistung, aber das kürzeste Intervall entspricht nicht immer dem Test mit der höchsten Leistung. Für einige Beispiele dafür finden Sie dieses Papier (multivariate Normalverteilung), oder diese (Exponentialverteilung) oder § 4 meiner Arbeit .

Bayesianer können auch Ja und Nein sagen

Vor einigen Jahren habe ich hier eine Frage gestellt, ob eine Testintervalläquivalenz auch in der Bayes'schen Statistik existiert. Die kurze Antwort ist, dass bei Verwendung von Standard-Bayes'schen Hypothesentests die Antwort "nein" lautet. Wenn Sie das Testproblem ein wenig umformulieren, lautet die Antwort jedoch "Ja". (Meine Versuche, meine eigene Frage zu beantworten, wurden schließlich zu einer Zeitung !)

— MånsT
quelle

Gute Antwort (+1) und (Sie tun dies teilweise) Es mag gut sein, darauf hinzuweisen, dass Konfidenzintervalle und Hypothesentests manchmal (potenziell) widersprüchliche Ziele haben: Man versucht, ein Konfidenzintervall zu finden, das "so klein wie möglich" ist zum Testen von Hypothesen wird versucht, einen kritischen Bereich zu finden, der "so leistungsfähig wie möglich" ist.

@fcoppens: Danke für den Vorschlag! Ich habe meine Antwort mit einigen Zeilen darüber aktualisiert.

— MånsT

Schöne These! Hast du auch an Sterne Intervall gearbeitet?

@fcoppens: Ja, ich habe einige Arbeiten im Sterne-Intervall durchgeführt, hauptsächlich in diesem

— Artikel

@amoeba: Eigentlich denke ich, dass sein "Nein" mein zweites "Nein" ist. Soweit ich das beurteilen kann, basiert er das Konfidenzintervall auf der Statistik und dem Test in der Statistik . Beachten Sie den Unterschied im Nenner. Sie können Tests und Intervalle mit beiden Statistiken erstellen. Solange Sie für beide dieselbe Statistik verwenden, gibt es keine Diskrepanzen.

T_{1} = (\hat{p} - p) / \sqrt{\hat{p} (1 - \hat{p}) / n}

$T_1=(\hat{p}-p)/\sqrt{\hat{p}(1-\hat{p})/n}$

T_{2} = (\hat{p} - p) / \sqrt{p (1 - p) / n}

$T_2=(\hat{p}-p)/\sqrt{p(1-p)/n}$

— MånsT

Bei der Betrachtung eines einzelnen Parameters ist es möglich, dass ein Test über den Wert des Parameters und das Konfidenzintervall "nicht übereinstimmt", je nachdem wie diese aufgebaut sind. Insbesondere ist ein Hypothesentest ein Level -Test, wenn er die Nullhypothese als Anteil der Zeit ablehnt, zu der die Nullhypothese wahr ist. Aus diesem Grund kann man zB Schätzungen von Modellparametern (zB der Varianz) verwenden, die nur unter der Nullhypothese gültig sind. Wenn man dann versucht, ein CI durch Invertieren dieses Tests zu konstruieren, stimmt die Abdeckung unter der alternativen Hypothese möglicherweise nicht ganz. Aus diesem Grund würde man in der Regel ein Konfidenzintervall anders konstruieren, damit die Abdeckung auch unter der Alternative stimmt, was dann zu einer (meist sehr kleinen) Fehlanpassung führen kann. $\alpha$ $\leq \alpha$

— Björn
quelle