Welche Auswirkungen hat die Verdoppelung einer Stichprobengröße auf einen p-Wert?

Unter der Annahme, dass es sich um eine zugrunde liegende Beziehung zwischen zwei Variablen in einer OLS-Regression handelt [Nullhypothesentest], wie wirkt sich dann die Verdoppelung der Stichprobengröße auf den p-Wert aus? (unter der Annahme, dass die ursprüngliche Stichprobe repräsentativ für die Bevölkerung ist und die nachfolgende Stichprobe ebenfalls repräsentativ ist).

Natürlich ist mir bewusst, dass eine Erhöhung der Stichprobengröße den p-Wert verringern sollte, solange eine zugrunde liegende Beziehung besteht, aber ich bin daran interessiert, die Art der Beziehung zwischen p und n besser zu verstehen.

Für den T-Test haben wir Regeln wie "Durch Verdoppeln der Stichprobengröße wird die Teststatistik um erhöht ". Dies könnte Sie denken lassen, dass es eine einfache Beziehung zwischen Stichprobengröße und p-Wert gibt.$\sqrt{2}$

Tatsächlich hängt die Beziehung zwischen Stichprobengröße und p-Wert von der Beziehung zwischen Stichprobengröße und Teststatistik und der Beziehung zwischen Teststatistik und p-Wert ab. Diese Beziehungen sind für jeden Test unterschiedlich.

Für den einfachsten Fall, den einseitigen Z-Test, können wir sehen, wie diese Beziehung aussieht. Angenommen, eine Zufallsvariable hat den Mittelwert und die Varianz . Nehmen wir an, wir testen, ob der Mittelwert von signifikant von abweicht . Die Teststatistik lautet .$X$$\mu$$\sigma^2$$X$$\nu$$Z$$\frac{(\bar{x}-\nu)\sqrt{n}}{\sigma}$

Der p-Wert ist gleich eins minus der CDF der Statistik (dies setzt voraus, dass die Differenz zwischen den Mittelwerten positiv ist, ein ähnliches Argument funktioniert, wenn die Differenz negativ ist).$Z$

Für die Normalverteilung ist die CDF . Wobei erf (x) die Fehlerfunktion ist.$\Phi(t)=0.5+0.5\cdot erf(\frac{x-\mu_t}{\sigma_t \sqrt{2}})$

Unter der Nullhypothese des gleichen Mittels hat die Statistik einen Mittelwert und eine Varianz . Die tatsächliche Verteilung von hat einen Mittelwert aus und Varianz .$Z$$0$$1$$Z$$\frac{(\bar{x}-\nu)\sqrt{n}}{\sigma}$$1$

Die Effektgröße der Differenz zwischen den Mitteln ist . Rufen Sie die Effektgröße , dann wird der erwartete Wert von ist .$\frac{(\bar{x}-\nu)}{\sigma}$$b$$Z$$b\sqrt{n}$

Für die CDF . Wobei erf (x) die Fehlerfunktion ist.$Z$$\Phi(z)=0.5+0.5\cdot erf(\frac{z}{\sqrt{2}})$

Natürlich ist die Statistik eine Zufallsvariable. Hier sehen wir uns nur die Beziehung zwischen Stichprobengröße und p-Wert für den erwarteten Wert von .$Z$$Z$

Daraus folgt, dass die CDF der Statistik$Z$$\Phi(z)=0.5+0.5\cdot erf(\frac{b\sqrt{n}}{\sqrt{2}})$

Dies ist die Beziehung zwischen dem p-Wert und der Stichprobengröße

$p=0.5-0.5\cdot erf(\frac{b\sqrt{n}}{\sqrt{2}})$

Die Beziehung variiert entsprechend dem Wert von . Für sehr große wir eine Reihenerweiterung verwenden, um das Grenzverhalten zu sehen. Laut Wolfram Alpha ist das:$n$$n$

$\lim_{n \to \infty}p = e^{-0.5b^2n} \left(\frac{1}{eb\sqrt{n}}+O\left(\frac{1}{(b\sqrt{n})^2} \right) \right)$

Das ist ein ziemlich schneller Abfall in Richtung 0. Es besteht eine große Abhängigkeit von der Effektgröße. Wenn der Unterschied zwischen den Mittelwerten größer ist, schrumpft der p-Wert natürlich schneller, wenn sich Ihre Abtastung verbessert.

Denken Sie auch hier daran, dass dies nur für den Z- und T-Test gilt und nicht für andere Tests.

Untersuchen wir zunächst den Einfluss auf den t-Wert . Wir können dann sofort auf die Auswirkung auf den p-Wert schließen.

Dies lässt sich am besten anhand eines ausgewählten Simulationsbeispiels veranschaulichen, das die wichtigsten Merkmale veranschaulicht. Da wir als falsch betrachten (und im Wesentlichen Eigenschaften in Bezug auf die Leistung berücksichtigen), ist es sinnvoll, sich auf einen einseitigen Test (in der "richtigen" Richtung) zu konzentrieren, da das Betrachten des falschen Endes nicht sichtbar ist viel Action und wird uns nicht viel von Interesse erzählen.$H_0$

Hier haben wir also eine Situation (bei n = 100), in der der Effekt groß genug ist, dass die Statistik manchmal signifikant ist. Wir fügen dieser ersten Stichprobe dann eine zweite Zeichnung aus derselben kontinuierlichen Verteilung von x-Werten (hier gleichmäßig, aber für den beobachteten Effekt nicht kritisch) derselben Größe wie die erste hinzu, was zu einer Verdoppelung der Stichprobengröße führt, jedoch vollständig einschließlich der ersten Probe.

Was wir beobachten, ist nicht, dass der p-Wert sinkt, sondern dass er dazu neigt, zu sinken (mehr Punkte liegen über der diagonalen Linie als darunter); wir können sehen, dass die Variation der t-Werte abnimmt, so dass es im Bereich von 0 weniger gibt. Viele p-Werte steigen. Eine ganze Reihe von Proben, die nicht signifikant waren, wurden signifikant, wenn wir mehr Daten hinzufügten, aber einige, die signifikant waren, wurden unbedeutend.

[Hier betrachten wir die t-Statistik für den Steigungskoeffizienten in einer einfachen Regression, obwohl die Probleme qualitativ allgemeiner ähnlich sind.]

Ein Diagramm von p-Werten anstelle von t-Werten vermittelt im Wesentlichen die gleichen Informationen. Wenn Sie Markierungen in den richtigen Abständen auf den obigen Achsen platzieren, können Sie sie stattdessen mit p-Werten kennzeichnen ... aber oben (und rechts) werden niedrige p-Werte angezeigt und unten (/ links) markiert mit größeren p-Werten. [Das Zeichnen der p-Werte drückt einfach alles in die Ecke und es ist weniger klar, was los ist.]

Wenn die jeweilige Null falsch ist, erwarten Sie im Allgemeinen einen Abfall der p-Werte wie in der folgenden Abbildung, in der ich durchschnittliche p-Werte aus einer kleinen Simulationsstudie für ein Vielfaches von Stichproben mit einer Größe n=25von bb*n=25bis bb*n=29*25für einen einfachen linearen Regressionskoeffizienten gleich anmelde bis 0,1 und Fehlerstandardabweichung von .$\sigma_u=0.5$

Da die p-Werte von unten durch Null begrenzt sind, muss der Zerfall letztendlich abgeflacht werden.

Das 90% -Konfidenzintervall (schattierter blauer Bereich) zeigt an, dass darüber hinaus die Variabilität der p-Werte auch mit der Stichprobengröße abnimmt.

Wenn entweder kleiner oder größer ist, sind die p-Werte beim Erhöhen schneller nahe Null , so dass das Erscheinungsbild des Diagramms flacher wird.$\sigma_u$$n$bb

Code:

reps <- 5000
B <- seq(1,30,by=2)
n <- 25

sigma.u <- .5
pvalues <- matrix(NA,reps,length(B))
for (bb in 1:length(B)){
     for (i in 1:reps){
          x <- rnorm(B[bb]*n)
          y <- .1*x + rnorm(B[bb]*n,sd=sigma.u)
          pvalues[i,bb] <- summary(lm(y~x))$coefficients[2,4]     
     }
}
plot(B,colMeans(pvalues),type="l", lwd=2, col="purple", ylim=c(0,.9))
ConfidenceInterval <- apply(pvalues, 2, quantile, probs = c(.1,.9))
x.ax <- c(B,rev(B))
y.ax <- c(ConfidenceInterval[1,],rev(ConfidenceInterval[2,]))
polygon(x.ax,y.ax, col=alpha("blue",alpha = .2), border=NA)