Auswahl des Q-Werts im Benjamini-Hochberg-Verfahren zur Kontrolle der Rate falscher Entdeckungen

Ich habe 350 unabhängige Tests durchgeführt. Ich muss sie für die mehrfachen Vergleiche korrigieren. Ich verwende das Benjamini-Hochberg (BH) -Verfahren zur Kontrolle des FDR. Die vorherige Auswahl des Q (der Ebene, auf der wir den FDR steuern möchten) könnte jedoch einschränkend sein (z. B. finde ich keine Entdeckung für Q = 0,05 und 40 für Q = 0,1: Es wäre schön, etwas über diese 36 angeblich wahren Entdeckungen zu erzählen gemacht mit Q = 0.1 anstatt keine Entdeckung zu melden).

Ich habe zwei Fragen:

1. Wenn ich eine explorative Analyse durchführe, ist es ein falsches Verfahren, die Anzahl der Entdeckungen für verschiedene Q-Ebenen zu überprüfen, anstatt sie a priori zu korrigieren? Wenn ich dann nur einen Q-Wert auswählen muss, kann ich wählen, z. B. den konservativeren, der mir noch eine echte Entdeckung liefert, oder den, der die maximale Anzahl wahrer Entdeckungen liefert, usw.

2. Mache ich wieder mehrere Vergleiche, um verschiedene Q-Level zu überprüfen? Ich glaube nicht, da ich eigentlich keine neue Hypothese teste, sondern nur den FDR auf verschiedene Ebenen kontrolliere: Die ursprüngliche Hypothese bleibt unberührt. Was geändert wird, sind die Kriterien im BH-Verfahren.

Ja, diese Dinge werden ziemlich oft gemacht, zumindest in der Genetik. Um Ihre spezifischen Punkte anzusprechen:

1. Dies geschieht ziemlich häufig, und ich habe die Ergebnisse auf diese Weise persönlich gemeldet. Stellen Sie jedoch sicher, dass Sie klarstellen, auf welcher FDR-Ebene Sie Bericht erstatten. Denken Sie an eine "marginale" Bedeutung; Leute mögen es interessant finden, aber sie müssen wissen, was sie sehen.

2. Nein, Sie müssten dafür nicht mehrere Korrekturen vornehmen, da Sie bereits erwähnt haben, dass Sie das einfach manipulieren $P$-Werte auf eine andere Art und Weise und nichts ändern.

Ich würde auch weiter untersuchen, was Dr. Motulsky oben erwähnt hat, wenn ich Sie wäre. Berichterstattung über die$q$ Wert ist eine sehr häufige und nützliche Metrik.

Eine Alternative, die Sie möglicherweise nützlich finden, besteht darin, für jeden Vergleich den q-Wert anzugeben. Der q-Wert (Kleinbuchstabe) ist der Q-Wert (Großbuchstabe), bei dem dieser bestimmte Vergleich genau an der Grenze einer Entdeckung liegen würde. Sie können dann den q-Wert für jeden Vergleich angeben und nicht nur eine Liste, bei der Vergleiche "Entdeckungen" sind, indem Sie einen beliebigen Wert von Q verwenden.

Alpha = 0,05 hat nichts Magisches.

Ich sehe nichts falsches daran, mit alpha / q = .10 zu arbeiten. Ich würde auch Konfidenzintervalle melden (und diese ebenfalls anpassen).

Alternativ können Sie ein Bayes'sches Modell mit Prioritäten verwenden, um falsch positive Ergebnisse (Hufeisen, Laplace) zu erzielen.