Erforderliche Anzahl von Permutationen für einen permutationsbasierten p-Wert

Wie viele Permutationen benötige ich, wenn ich einen permutationsbasierten $p$ Wert mit dem Signifikanzniveau berechnen $\alpha$muss?

Aus dem Artikel "Permutationstests zur Untersuchung der Klassifikatorleistung" , Seite 5:

In der Praxis ist die Obergrenze $1/(2\sqrt{k})$wird typischerweise verwendet, um die Anzahl von Proben zu bestimmen, die erforderlich sind, um die gewünschte Genauigkeit des Tests zu erreichen.

... wobei die Anzahl der Permutationen ist.$k$

Wie berechne ich die Anzahl der erforderlichen Permutationen aus dieser Formel?

Ich gebe zu, der Absatz könnte verwirrend sein.

Wenn Sie einen Permutationstest durchführen, schätzen Sie einen p-Wert. Das Problem ist, dass die Schätzung des p-Werts selbst einen Fehler aufweist, der als √ berechnet wird . Wenn der Fehler zu groß ist, ist der p-Wert unzuverlässig.$\sqrt{\frac{p(1-p)}{k}}$

Wie viele Permutationen k braucht man also, um eine verlässliche Schätzung zu erhalten?

Definieren Sie zuerst Ihren maximal zulässigen Fehler, auch bekannt als die Genauigkeit. Lassen Sie das sein . Dann muss ein geschätzter p-Wert im Intervall [ p - 3 ≤ P , p + 3 ≤ P ] liegen (da p ungefähr normalverteilt ist )$P$$[p-3*P,p+3*P]$

Verwendung der Obergrenze

Der zitierte Absatz des Papiers schlägt vor, 1 zu verwenden als Schätzung der oberen Grenze des Fehlers anstelle von$\frac{1}{2\sqrt{k}}$ . Dies entspricht einem unbekannten p-Wert von p = 0,5 (wobei der Fehler unter allen ps für ein festes k maximal ist).$\sqrt{\frac{p(1-p)}{k}}$

Also: Sie möchten wissen, wo .$\frac{1}{2\sqrt{k}}\le P$

<=> $\frac{1}{4P^2}\le k$

Da die zitierte Formel jedoch eine Obergrenze darstellt, ist dieser Ansatz sehr grob.

Verwendung des Fehlers auf dem Signifikanzniveau

$\alpha$

$\sqrt{\frac{\alpha(1-\alpha)}{k}}\le P$

$\frac{(\alpha(1-\alpha))}{P^2}\le k$

$\alpha$$[p-3*P,p+3*P]$

Verlängern des Konfidenzintervalls

Dieser Ansatz entspricht der Mitte des Konfidenzintervalls genau an der Entscheidungsschwelle. Um zu erzwingen, dass die Obergrenze des Konfidenzintervalls des geschätzten p unter der Entscheidungsschwelle liegt (was korrekter ist), benötigt man ...

$l\sqrt{\frac{\alpha(1-\alpha)}{k}}\le P$

$(l)^2\frac{(\alpha(1-\alpha))}{P^2}\le k$

wo l entspricht (siehe nochmal die Grafik )

| l | confidence interval |
| 1 | ~68 % |
| 2 | ~95 % |
| 3 | ~99 % |

Beispiele: Die gewünschte Präzision P sei 0,005.

$k>=10000$

$\alpha=0.05$$k>=7600$

$\alpha=0.01$

Schließlich : Ich empfehle dringend, tiefer in Monte-Carlo-Simulationen einzutauchen. Die Wikipedia bietet einen Anfang.