Wenn ein parametrischer Test nicht null zurückweist, macht seine nichtparametrische Alternative dasselbe?

12

Wenn angenommen wird, dass nichtparametrische Tests weniger Leistung haben als ihre parametrischen Alternativen, bedeutet dies, dass wenn ein parametrischer Test nicht null zurückweist, seine nichtparametrische Alternative auch nicht null zurückweist? Wie kann sich dies ändern, wenn die Annahmen des parametrischen Tests nicht erfüllt sind und der Test trotzdem verwendet wird?

hypothesis-testing nonparametric parametric

— Miroslav Sabo
quelle

4

(a) Wenn Test A unter bestimmten Umständen eine geringere Aussagekraft als Test B hat, bedeutet dies nicht, dass die von A zurückgewiesenen Fälle eine Teilmenge der Fälle in B sind (tatsächlich ist dies bei einem festgelegten Signifikanzniveau nicht möglich). Sie lehnen verschiedene (aber möglicherweise stark überlappende) Bereiche des Probenraums ab. Es gibt immer Fälle, in denen jeder den anderen ablehnt. (b) Wenn die Annahmen des parametrischen Tests nicht erfüllt werden (werden sie jemals tatsächlich erfüllt?), haben parametrische Tests möglicherweise eine relativ geringe Leistung (z. B. t-Test gegen Mann-Whitney bei schweren Schwänzen)

— Glen_b -Reinstate Monica,

9

Wenn ein parametrischer Test die Nullhypothese nicht ablehnt, kann sein nichtparametrisches Äquivalent die Nullhypothese definitiv ablehnen. Wie @John sagte, tritt dies normalerweise auf, wenn Annahmen verletzt werden, die die Verwendung des parametrischen Tests rechtfertigen würden. Wenn wir zum Beispiel den Zwei-Stichproben-T-Test mit dem Wilcoxon-Rang-Summen-Test vergleichen, kann dies passieren, wenn wir Ausreißer in unsere Daten einbeziehen (bei Ausreißern sollten wir den Zwei-Stichproben-Test nicht verwenden).

#Test Data
x = c(-100,-100,rnorm(1000,0.5,1),100,100)
y = rnorm(1000,0.6,1)

#Two-Sample t-Test
t.test(x,y,var.equal=TRUE)

#Wilcoxon Rank Sum Test
wilcox.test(x,y)

Die Ergebnisse der Testdurchführung:

> t.test(x,y,var.equal=TRUE)

    Two Sample t-test

data:  x and y 
t = -1.0178, df = 2002, p-value = 0.3089
alternative hypothesis: true difference in means is not equal to 0 
95 percent confidence interval:
 -0.6093287  0.1929563 
sample estimates:
mean of x mean of y 
0.4295556 0.6377417 

> 
> wilcox.test(x,y)

    Wilcoxon rank sum test with continuity correction

data:  x and y 
W = 443175, p-value = 5.578e-06
alternative hypothesis: true location shift is not equal to 0

9

Nein.

Während parametrische Tests leistungsfähiger sein können, ist dies nicht immer der Fall. Wenn dies nicht der Fall ist, ist dies normalerweise in Situationen der Fall, in denen Sie die parametrischen Tests nicht ausführen sollten.

Aber selbst wenn Sie Proben mit anständiger Größe von Normalverteilungen mit gleicher Varianz sammeln, bei denen der parametrische Test eine höhere Leistung aufweist, kann dies nicht garantieren, dass ein nicht signifikanter parametrischer Test für ein bestimmtes Experiment einen nicht signifikanten nicht parametrischen Test bedeutet. Hier ist eine Simulation, die nur Zufallsstichproben aus Normalverteilungen verwendet und feststellt, dass in 1,8% der Fälle p> 0,05 für einen t-Test und p <0,05 für einen Wilcoxon-Test gilt.

nsim <- 10000
n <- 50
cohensD <- 0.2
Y <- replicate(nsim, {
    y1 <- rnorm(n, 0, 1); y2 <- rnorm(n, cohensD, 1)
    tt <- t.test(y1, y2, var.equal = TRUE)
    wt <- wilcox.test(y1, y2)
    c(tt$p.value, wt$p.value)})
sum(Y[1,] > 0.05 & Y[2,] < 0.05) / nsim

Sie können feststellen, dass in dieser Simulation die Leistung des parametrischen Tests größer ist als die des nichtparametrischen Tests (obwohl sie ähnlich sind).

sum(Y[1,] < 0.05) / nsim #t-test power
sum(Y[2,] < 0.05) / nsim #wilcox.test power

Wie oben gezeigt, bedeutet dies jedoch nicht, dass in allen Fällen, in denen der parametrische Test keinen Effekt findet, der nichtparametrische Test ebenfalls fehlschlägt.

Sie können mit dieser Simulation spielen. Machen Sie n ziemlich groß, sagen Sie 1000, und verkleinern Sie die Effektgröße, sagen Sie 0,02 (Sie benötigen wenig Strom, um viele Samples zu erhalten, bei denen der Test fehlschlägt). Mit einem n von 1000 kann so ziemlich garantiert werden, dass keine der Proben wegen Nichtnormalität (durch Inspektion, keine dumme Prüfung) zurückgewiesen wird oder verdächtige Ausreißer aufweist. Dennoch sind einige der parametrischen Tests nicht signifikant, während die nichtparametrischen Tests signifikant sind.

Vielleicht möchten Sie sich auch Hunter & May (1993) ansehen.

Hunter, MA & May, RB (1993). Einige Mythen über parametrische und nichtparametrische Tests. Canadian Psychology, 34 (4), 384 & ndash; 389.

— John
quelle