Ist die Fehlerrate von Typ I gleich Alpha oder höchstens Alpha?

Laut der p-Wert-Wikipedia-Seite :

Wenn der p-Wert korrekt berechnet wird, garantiert dieser Test, dass die Fehlerrate vom Typ I höchstens beträgt . $\alpha$

Jedoch weiter unten auf der Seite wird diese Formel:

$Pr (R e j e c t H | H) = Pr (p \leq α | H) = α$ $\Pr(\mathrm{Reject}\; H|H) = \Pr(p \leq \alpha|H) = \alpha$

Unter der Annahme, dass die Fehlerrate vom Typ 1 = $\Pr(\mathrm{Reject}\; H|H)$ deutet dies darauf hin, dass die Fehlerrate vom Typ 1 $\alpha$ und nicht 'höchstens $\alpha$ ' ist. Andernfalls würde die Formel lauten:

Pr (R e j e c t H | H) \leq α

$\Pr(\mathrm{Reject}\; H|H) \leq \alpha$

Wo ist mein Missverständnis?

hypothesis-testing p-value type-i-and-ii-errors

— Ei
quelle

Wenn die "Nullhypothese" mehr als einen Naturzustand enthält, kann die tatsächliche Falsch-Positiv-Rate (FPR) mit diesem Zustand variieren. Alles, was wir tun können, ist eine Begrenzung des FPR zu garantieren, egal wie dieser Naturzustand sein mag - aber wir können nicht immer garantieren, dass der FPR tatsächlich gleich . $\alpha$

(Es gibt andere Gründe, warum der FPR möglicherweise nicht seinem Zielwert , z. B. wenn die Teststatistik diskret ist. Diese Situationen können normalerweise mithilfe randomisierter Entscheidungsverfahren behoben werden. Als solche bieten sie keinen grundlegenden Einblick in die Frage.) $\alpha$

Betrachten Sie den klassischen einseitigen Test, bei dem angenommen wird, dass die Statistik eine Normalverteilung des unbekannten Mittelwerts und (der Einfachheit halber) der bekannten Standardabweichung . ist mit zu vergleichen . Die Nullhypothese lautet während die alternative Hypothese lautet . Der Ablehnungsbereich hat daher die Form $X$ $\mu$ $\sigma$ $\mu$ $0$ $H_0:\mu \ge 0$ $H_A:\mu \lt 0$

R (α) = (- \infty, Z_{α}]

$\mathcal{R}(\alpha) = (-\infty, Z_\alpha]$

Dabei wird so gewählt, dass die Wahrscheinlichkeit, eine Statistik in dieser Region zu beobachten, höchstens beträgt : $Z_\alpha$ $\alpha$

\begin{matrix} (1) & α = sup (Pr (X \in R (α))) . \end{matrix}

$\alpha =\sup\left(\Pr(X \in \mathcal{R}(\alpha))\right)\tag{1}.$

Unter den Annahmen ist diese Wahrscheinlichkeit durch die Normalverteilungsfunktion : $\Phi$

\begin{matrix} (2) & Pr (X \in R (α)) = Φ (\frac{Z_{α} - μ}{σ}) . \end{matrix}

$\Pr(X \in \mathcal{R}(\alpha)) = \Phi\left(\frac{Z_\alpha-\mu}{\sigma}\right)\tag{2}.$

Diese Wahrscheinlichkeit hängt vom unbekannten Wert von . $\mu$ Daher können wir nicht garantieren, dass es tatsächlich . Tatsächlich für große , ist praktisch gleich Null. Wir müssen jedoch alle unsere Basen abdecken und garantieren, dass die falsch-positive Rate nicht überschreitet , solange mit der Nullhypothese übereinstimmt . $\alpha$ $\mu$ $(2)$ $\mu$ $(1)$ $\alpha$

— whuber
quelle

@ JackPierce-Brown Die Formel ist korrekt für die Punkt-Null-Hypothese und für die kontinuierliche Teststatistik. Das muss im Wikipedia-Artikel angenommen werden, wird aber wahrscheinlich nicht dargelegt. (+1)

— Amöbe

@ Amöbe ist richtig. Beachten Sie außerdem, dass nur wenige praktische Tests tatsächlich Punkt-Null-Hypothesen beinhalten. Selbst der klassische Student-t-Test von vs ist kein Punkt Null, da es vielfältige Möglichkeiten für den unbekannten Wert des Parameters , obwohl die Null den Wert von .

H_{0} : μ = 0

$H_0:\mu=0$

H_{A} : μ > 0

$H_A:\mu \gt 0$

σ

$\sigma$

μ

$\mu$

— whuber

@whuber Hmm, dein T-Test-Beispiel ist rätselhaft. Können Sie das näher erläutern? Ich dachte, ist ein Punkt Null, weil ein Punkt ist und nicht in die Nullhypothese eingeht. Wenn es sich nicht um einen Punkt Null handelt, bedeutet dies, dass die Fehlerrate von Typ I nicht gleich ? Ich hätte gedacht, es sollte gleich egal was ist.

H_{0} = 0

$H_0=0$

0

$0$

σ

$\sigma$

α

$\alpha$

α

$\alpha$

σ

$\sigma$

— Amöbe

@Amoeba sehr viel Teil der Nullhypothese. Streng genommen ist der ParameterraumDie Nullhypothese ist die TeilmengeEs ist kein einziger Naturzustand. Aber vielleicht ist dies nicht das beste Beispiel, weil die Verteilung der - Statistik nicht davon abhängt : das ist , warum eine Konstante FPR möglich ist.

σ

$\sigma$

Θ = {(μ, σ) ∣ μ \in R, σ \geq 0} .

$\Theta = \{(\mu,\sigma)\mid \mu\in\mathbb{R},\,\sigma \ge 0\}.$

H_{0} = {(μ, σ) ∣ μ = 0, σ \geq 0} \subset Θ .

$H_0=\{(\mu,\sigma)\mid \mu=0,\sigma\ge 0\} \subset\Theta.$

t

$t$

σ

$\sigma$

— whuber

Interessant. Aha.

— Amöbe

Es ist ein hinterhältiges Problem. Wenn Sie kontinuierliche Daten haben und diese angemessen behandeln, ist . Wenn Ihre Daten jedoch diskret sind, ist möglicherweise nicht möglich . Betrachten Sie Binomialdaten darüber, ob eine Münze fair ist. Mit 5 Münzwürfen sind die möglichen einseitigen p-Werte: $\Pr(p \leq \alpha|H_0) = \alpha$ $p = \alpha$

> pbinom(0:5, size=5, prob=.5)
[1] 0.03125 0.18750 0.50000 0.81250 0.96875 1.00000

Nur Köpfe könnten einen Fehler vom Typ I ergeben, und die damit verbundene Wahrscheinlichkeit beträgt . So wird der Typ - I - Fehlerrate würde auf „höchstens gehalten werden “, aber nicht zu gleich . $0$ $\approx 0.03$ $α$ $\alpha$

Andererseits gibt es (ungültige) Analysestrategien, die zu Fehlerraten vom Typ I führen, die größer als , selbst wenn (z. B. schrittweise Auswahlroutinen). $\alpha$ $p<\alpha$

Ich habe hier eine ausführlichere Diskussion: Vergleichen und Gegenüberstellen, p-Werte, Signifikanzniveaus und Fehler vom Typ I.

— gung - Monica wieder einsetzen
quelle