Permutationstests: Kriterien zur Auswahl einer Teststatistik

Ich benutze regelmäßig Permutationstests und liebe ihre Einfachheit. Ich habe am meisten aus dem Buch "Resampling Methods" von Good gelernt, in dem der Autor bei der Auswahl der Teststatistik in den Beispielen ziemlich kreativ zu sein scheint. Auch dieser Beitrag erweckt den Eindruck, dass es eine große Freiheit gibt, eine Teststatistik zu wählen.

Ich frage mich, ob es theoretische Anforderungen gibt, denen eine Teststatistik entsprechen sollte . Oder können wir einfach eine Statistik verwenden, solange sie intuitiv sinnvoll ist und gute Fehlerraten vom Typ I / II aufweist?

Wenn zum Beispiel aufgrund nicht normaler Populationen ein Permutationstest anstelle des t-Tests verwendet wird, habe ich mehrmals gesehen, dass der p-Wert des Permutationstests immer noch aus der t-Statistik erhalten wird. Obwohl dies nicht unbedingt falsch ist, scheint es angesichts des Ursprungs der Student t-Verteilung eine seltsame Wahl zu sein.

Die t-Statistik ist als Teststatistik sehr sinnvoll. Viele Leute finden es intuitiv. Wenn ich eine t-Statistik von 0,5 oder 5,5 zitiere, sagt sie etwas aus - wie viele Standardfehler sind die Mittelwerte voneinander entfernt.

Die Schwierigkeit - zumindest bei mäßiger Nichtnormalität - besteht weniger in der Verwendung der Statistik als vielmehr in der Verwendung der t-Verteilung für ihre Verteilung unter der Null. Die Statistik ist durchaus sinnvoll.

Wenn Sie wesentlich schwerere Schwänze als die normale erwarten, ist eine robustere Statistik natürlich besser, aber die t-Statistik reagiert nicht sehr empfindlich auf geringfügige Abweichungen von der Normalität (zum Beispiel ist sie weniger empfindlich als die Varianzverhältnisstatistik).

Wenn Sie nur den Zähler der Statistik verwenden möchten, ist das großartig. Als Permutationsstatistik ist dies durchaus sinnvoll, wenn Sie an einem Unterschied in den Mitteln interessiert sind. Wenn Sie an einem allgemeineren Gefühl der Standortverschiebung interessiert sind, eröffnet dies eine Vielzahl anderer Möglichkeiten.

Sie haben Recht zu glauben, dass es viel Freiheit gibt, eine Statistik auszuwählen und an die jeweiligen Umstände anzupassen - gegen welche Alternativen Sie Strom benötigen oder gegen welche möglichen Probleme Sie robust sein möchten (z. B. Kontamination) Schlagkraft).

Es gibt wirklich fast keine Einschränkungen - Sie können fast alles auswählen, einschließlich nutzloser Teststatistiken. Es gibt natürlich einige Überlegungen, über die Sie bei der Auswahl von Tests wirklich nachdenken sollten, aber Sie können dies nicht tun.

- -

Es gibt jedoch einige Kriterien, die unter verschiedenen Umständen angewendet werden können.

Wenn Sie beispielsweise besonders an einer bestimmten Art von Hypothese interessiert sind, können Sie eine Statistik verwenden, die diese widerspiegelt. Wenn Sie beispielsweise einen Unterschied in den Populationsmitteln testen möchten, ist es häufig sinnvoll, eine Teststatistik zu erstellen bezogen auf einen Unterschied in den Stichprobenmitteln.

Wenn Sie etwas über die Art der Verteilung wissen, die Sie möglicherweise haben - schwere Schwänze oder Schräglauf oder fiktive Schwänze, aber mit einem gewissen Grad an Kontamination oder bimodal, ... können Sie eine Teststatistik erstellen, die unter solchen Umständen gut funktioniert. Wählen Sie beispielsweise eine Statistik, die in der erwarteten Situation eine gute Leistung erbringen sollte, jedoch eine gewisse Robustheit gegenüber Kontamination aufweist.

- -

Die Simulation ist eine Möglichkeit, die Leistung in verschiedenen Situationen zu untersuchen.