Korrektur für Mehrfachtests bei einer bescheidenen Anzahl von Tests (10-20) mit FDR?

Die Falschentdeckungsrate (Benjamini-Hochberg) wird normalerweise für "Big Data" verwendet, z. B. für genetische Studien mit Hunderten von Tests. Aber kann es auch bei einer geringeren Anzahl von Tests verwendet werden? Betrachten Sie beispielsweise die Ergebnisse von zwei Gruppen (Männer gegen Frauen) anhand von beispielsweise 10 bis 20 verschiedenen Fragebögen. Verliert das FDR-Verfahren in diesen Fällen an Wert / Bedeutung / Kraft?

multiple-comparisons small-sample false-discovery-rate

— Inkognito
quelle

Ich sehe die ganze Zeit Leute, die das verwirren, auch in diesem Forum. Ich denke, dies ist zu einem großen Teil darauf zurückzuführen, dass das Verfahren von Benjamini-Hochberg in der Praxis als Synonym für die Rate falscher Entdeckungen verwendet wird (und als Blackbox für die "Anpassung" der p-Werte, wie von den Gutachtern für ihre Arbeiten gefordert). Man muss das FDR-Konzept klar von Benjamini-Hochbergs Methode trennen. Der erste ist ein verallgemeinerter Typ-I-Fehler, während der zweite ein Mehrfachtestverfahren ist, das diesen Fehler kontrolliert. Dies ist zum Beispiel sehr analog zu FWER und Bonferronis Verfahren.

$m$ $R$ $V$

$= \Pr[V \geq 1]$ $\text{FDR}$ $R$

FDR = E [\frac{V}{max R, 1}]

$\text{FDR} = \mathbb E\left[\frac{V}{\max{R,1}}\right]$

Die Antwort auf Ihre Frage hängt also vollständig davon ab, was Sie erreichen möchten, und es gibt keinen eigentlichen Grund, warum ein kleines problematisch wäre. Nur um es etwas weiter zu veranschaulichen: Das Datenanalysebeispiel in Benjamini-Hochbergs wegweisender Arbeit von 1995 enthielt nur Hypothesen, und natürlich gilt es auch für diesen Fall! $m$ $m=15$

Natürlich gibt es eine Einschränkung bei meiner Antwort: Das BH-Verfahren wurde erst populär, nachdem "massive" (z. B. Microarrays) Datensätze verfügbar wurden. Und wie Sie bereits erwähnt haben, wird es normalerweise für solche "Big Data" -Anwendungen verwendet. Dies liegt jedoch nur daran, dass in solchen Fällen das Kriterium sinnvoller ist, z. B. weil es skalierbar und anpassungsfähig ist und explorative Forschung erleichtert. Die FWER hingegen ist sehr streng, wie es für klinische Studien usw. erforderlich ist, und bestraft Sie zu sehr, wenn Sie zu viele Optionen gleichzeitig untersuchen (dh nicht gut für Erkundungsarbeiten geeignet). $\text{FDR}$

Nehmen wir nun an, Sie haben entschieden, dass der FDR das geeignete Kriterium für Ihre Anwendung ist. Ist Benjamini Hochberg die richtige Wahl, um den FDR zu kontrollieren, wenn die Anzahl der Hypothesen gering ist? Ich würde ja sagen, da es auch für niedrige statistisch gültig ist . Für niedrige könnten Sie beispielsweise auch ein anderes Verfahren verwenden, nämlich das Verfahren von Benjamini und Liu , das auch den FDR steuert. Tatsächlich schlagen die Autoren seine Verwendung (über Benjamini-Hochberg) vor, wenn $m$ $m$ $m \leq 14$ und die meisten Hypothesen werden voraussichtlich falsch sein. Sie sehen also, dass es alternative Möglichkeiten für die FDR-Steuerung gibt! In der Praxis würde ich BH immer noch verwenden, nur weil es so gut etabliert ist und weil die Vorteile der Verwendung von Benjamini-Liu in den meisten Fällen, wenn überhaupt, gering sind.

Abschließend gibt es tatsächlich einige FDR-Kontrollverfahren, die Sie nicht für niedrige ! Dazu gehören alle lokal-fdr-basierten Prozeduren, wie sie beispielsweise in den R-Paketen "fdrtool" und "locfdr" implementiert sind. $m$

— Luft
quelle

Wenn ich das richtig verstehe, könnten Sie theoretisch eine legitime FDR-Berechnung für m = 1 durchführen (dies würde dem p-Wert entsprechen). Ist das korrekt? Bevor ich Ihre Antwort gelesen habe, hatte ich gedacht, dass Sie FDR nicht für kleine Stichproben verwenden können, weil Sie die Anzahl der erwarteten "falsch positiven" Ergebnisse nicht sinnvoll berechnen können ... aber das ist nicht der Fall, oder?

— Adam.r