Wie schätzen FDR-Verfahren eine False Discovery Rate ohne ein Modell von Basisraten?

9

Kann jemand erklären, wie FDR-Verfahren einen FDR ohne ein Modell / eine Annahme der Basisrate von echten Positiven schätzen können?

false-discovery-rate

— user4733
quelle

5

Ich denke, das ist eine wirklich gute Frage. Zu viele Menschen verwenden das Benjamini-Hochberg-Verfahren (abgekürzt BH; möglicherweise das beliebteste Verfahren zur Kontrolle des FDR) als Black Box. In der Tat gibt es eine zugrunde liegende Annahme für die Statistik, die in der Definition der p-Werte gut versteckt ist!

$P$ $P$ $P\sim U[0,1]$ $\Pr[P\leq t] \leq t$ $P$

Beachten Sie jedoch, dass ich immer wieder über die Nullhypothese gesprochen habe. Was Sie über die Kenntnis der Basisrate von True Positives erwähnt haben, wird also nicht benötigt, Sie benötigen nur die Kenntnis der Basisrate von False Positives! Warum ist das?

Es sei die Anzahl aller zurückgewiesenen (positiven) Hypothesen und die Anzahl der falsch positiven Hypothesen , dann: $R$ $V$

FDR = E. [\frac{V.}{max (R., 1)}]] \approx \frac{E. [V.]]}{E. [R.]]}

$\text{FDR} = \mathbb E\left[\frac{V}{\max(R,1)}\right] \approx \frac{\mathbb E[V]}{\mathbb E[R]}$

Um den FDR zu schätzen, benötigen Sie eine Methode zum Schätzen von , . Wir werden uns nun Entscheidungsregeln ansehen, die alle p-Werte ablehnen . Um dies in der Notation deutlich zu machen, schreibe ich auch für die entsprechenden Größen / Zufallsvariablen einer solchen Prozedur. $\mathbb E[R]$ $\mathbb E[V]$ $\leq t$ $FDR(t),R(t),V(t)$

Da nur die Erwartung der Gesamtzahl der Ablehnungen ist, können Sie sie unvoreingenommen anhand der Anzahl der beobachteten Ablehnungen abschätzen, sodass Das heißt, indem Sie einfach zählen, wie viele Ihrer p-Werte . $\mathbb E[R(t)]$ $\mathbb E[R(t)] \approx R(t)$ $\leq t$

Was ist nun mit ? wir an, Ihrer sind Nullhypothesen, dann erhalten Sie durch die Gleichförmigkeit (oder ) der p-Werte unter der Null: $\mathbb E[V]$ $m_0$ $m$

E. [V. (t)]] = \sum_{ich Null} Pr [{P.}_{ich} \leq t]] \leq m_{0} t

$\mathbb E[V(t)] = \sum_{i \text{ null}} \Pr[P_i \leq t] \leq m_0 t$

Wir kennen aber immer noch nicht , aber wir wissen, dass , also wäre eine konservative Obergrenze nur . Da wir nur eine Obergrenze für die Anzahl der falsch positiven Ergebnisse benötigen, reicht es aus, dass wir deren Verteilung kennen! Und genau das macht das BH-Verfahren. $m_0$ $m_0 \leq m$ $\mathbb E[V(t)] \leq m t$

Obwohl Aarong Zengs Kommentar, dass "das BH-Verfahren eine Möglichkeit ist, den FDR auf dem gegebenen Niveau q zu kontrollieren. Es geht nicht darum, den FDR zu schätzen", nicht falsch ist, ist er auch höchst irreführend! Das BH - Verfahren tatsächlich tut die FDR Schätzung für jede gegebene Schwelle . Und dann wählt es den größten Schwellenwert, so dass der geschätzte FDR unter . In der Tat ist der "angepasste p-Wert" der Hypothese im Wesentlichen nur eine Schätzung des FDR bei der Schwelle (bis zur Isotonisierung). Ich denke, der Standard-BH-Algorithmus verbirgt diese Tatsache ein wenig, aber es ist einfach, die Äquivalenz dieser beiden Ansätze zu zeigen (in der Literatur zu mehreren Tests auch als "Äquivalenzsatz" bezeichnet). $t$ $\alpha$ $i$ $t=p_i$

Als letzte Bemerkung gibt es Methoden wie das Storey-Verfahren, die sogar aus den Daten schätzen ; Dies kann die Leistung um ein kleines bisschen erhöhen. Auch im Prinzip haben Sie Recht, man könnte auch die Verteilung unter der Alternative (Ihrer wahren positiven Basisrate) modellieren, um leistungsfähigere Verfahren zu erhalten; Bisher konzentrierte sich die Forschung mit mehreren Tests hauptsächlich darauf, die Kontrolle über Fehler vom Typ I aufrechtzuerhalten, anstatt die Leistung zu maximieren. Eine Schwierigkeit wäre auch, dass in vielen Fällen jede Ihrer wahren Alternativen eine andere alternative Verteilung hat (z. B. unterschiedliche Potenz für unterschiedliche Hypothesen), während unter der Null alle p-Werte dieselbe Verteilung haben. Dies macht die Modellierung der tatsächlichen positiven Rate noch schwieriger. $m_0$

— Luft
quelle

3

+1 Vermutlich bezieht sich "BH" auf Benjamini-Hochberg . (Es ist immer eine gute Idee, Akronyme zu buchstabieren, damit die Leute nichts falsch verstehen.) Willkommen auf unserer Website!

— whuber

1

Vielen Dank! Auch ja, Sie haben Recht, ich habe meinen Beitrag bearbeitet, um dies widerzuspiegeln.

— Luft

4

Wie von @air vorgeschlagen, garantiert das Benjamini-Hochberg (BH) -Verfahren die FDR-Kontrolle. Es zielt nicht darauf ab, es zu schätzen. Es ist daher lediglich eine schwache Abhängigkeitsannahme zwischen den Teststatistiken erforderlich. [1,2]

Methoden, die auf die Schätzung des FDR abzielen [z. B. 3,4,5], erfordern einige Annahmen zum generativen Prozess, um ihn zu schätzen. Sie gehen normalerweise davon aus, dass die Teststatistiken unabhängig sind. Sie werden auch etwas über die Nullverteilung der Teststatistik annehmen. Abweichungen von dieser Nullverteilung können daher zusammen mit der Unabhängigkeitsannahme auf Effekte zurückgeführt werden, und der FDR kann geschätzt werden.

Beachten Sie, dass diese Ideen in der halbüberwachten Literatur zur Erkennung von Neuheiten wieder auftauchen. [6].

[1] Benjamini, Y. und Y. Hochberg. „Kontrolle der Rate falscher Entdeckungen: Ein praktischer und leistungsfähiger Ansatz für mehrere Tests.“ JOURNAL-ROYAL STATISTICAL SOCIETY SERIES B 57 (1995): 289–289.

[2] Benjamini, Y. und D. Yekutieli. "Die Kontrolle der Rate falscher Entdeckungen bei Mehrfachtests unter Abhängigkeit." ANNALS OF STATISTICS 29, No. 4 (2001): 1165–88.

[3] Storey, JD "Ein direkter Ansatz für falsche Entdeckungsraten." Zeitschrift der Royal Statistical Society Reihe B 64, Nr. 3 (2002): 479–98. doi: 10.1111 / 1467-9868.00346.

[4] Efron, B. "Microarrays, empirische Bayes und das Zwei-Gruppen-Modell". Statistical Science 23, No. 1 (2008): 1–22.

[5] Jin, Jiashun und T. Tony Cai. "Schätzung der Null und des Anteils von Nicht-Null-Effekten in groß angelegten Mehrfachvergleichen." Journal of the American Statistical Association 102, No. 478 (1. Juni 2007): 495–506. doi: 10.1198 / 016214507000000167.

[6] Claesen, Marc, Jesse Davis, Frank De Smet und Bart De Moor. "Bewertung von binären Klassifikatoren unter Verwendung nur positiver und unbeschrifteter Daten." arXiv: 1504.06837 [cs, Stat], 26. April 2015. http://arxiv.org/abs/1504.06837 .

— JohnRos
quelle

1

+1 obwohl mein Hauptpunkt aus diesem Absatz war , dass der BH Verfahren tatsächlich tun deuten auf eine Weise , die FDR der Schätzung (wenn auch ein wenig konservativ) und in der Tat tut es schätzt , an der endgültigen Ablehnung Schwelle zu gelangen. Seine algorithmische Definition als Step-up-Verfahren in Referenz [1] verdeckt dies, aber am Ende des Tages ist die Schätzung des FDR genau das, was das BH-Verfahren tut !! (Efron macht oft darauf aufmerksam, siehe aber auch Abschnitt 4. "Eine Verbindung zwischen den beiden Ansätzen" in Ihrer Referenz [3].)

— Luft

2

p_{0} = 1

$p_0=1$

0

Wenn das wahre zugrunde liegende Modell unbekannt ist, können wir den FDR nicht berechnen, sondern den FDR-Wert durch Permutationstest schätzen . Grundsätzlich führt das Permutationstestverfahren den Hypothesentest nur mehrmals durch, indem der Ergebnisvariablenvektor mit seinen Permutationen geändert wird. Dies kann auch auf der Grundlage der Permutationen der Proben erfolgen, ist jedoch nicht so häufig wie die erstere.

In diesem Artikel wird das Standard-Permutationsverfahren für die FDR-Schätzung überprüft und ein neuer FDR-Schätzer vorgeschlagen. Es sollte in der Lage sein, Ihre Frage zu beantworten.

— Aaron Zeng
quelle

3

Das gebräuchlichste Verfahren wie BH verwendet keinen Permutationstest. Was benutzt es? Außerdem liefern Permutationstests normalerweise eine Verteilung unter der Null. Erfordert eine FDR-Schätzung nicht Modelle sowohl der Null als auch der Alternative sowie des zugrunde liegenden relativen Anteils von jedem?

— user4733

q

$q$