Auswahl des Q-Werts im Benjamini-Hochberg-Verfahren zur Kontrolle der Rate falscher Entdeckungen

7

Ich habe 350 unabhängige Tests durchgeführt. Ich muss sie für die mehrfachen Vergleiche korrigieren. Ich verwende das Benjamini-Hochberg (BH) -Verfahren zur Kontrolle des FDR. Die vorherige Auswahl des Q (der Ebene, auf der wir den FDR steuern möchten) könnte jedoch einschränkend sein (z. B. finde ich keine Entdeckung für Q = 0,05 und 40 für Q = 0,1: Es wäre schön, etwas über diese 36 angeblich wahren Entdeckungen zu erzählen gemacht mit Q = 0.1 anstatt keine Entdeckung zu melden).

Ich habe zwei Fragen:

  1. Wenn ich eine explorative Analyse durchführe, ist es ein falsches Verfahren, die Anzahl der Entdeckungen für verschiedene Q-Ebenen zu überprüfen, anstatt sie a priori zu korrigieren? Wenn ich dann nur einen Q-Wert auswählen muss, kann ich wählen, z. B. den konservativeren, der mir noch eine echte Entdeckung liefert, oder den, der die maximale Anzahl wahrer Entdeckungen liefert, usw.

  2. Mache ich wieder mehrere Vergleiche, um verschiedene Q-Level zu überprüfen? Ich glaube nicht, da ich eigentlich keine neue Hypothese teste, sondern nur den FDR auf verschiedene Ebenen kontrolliere: Die ursprüngliche Hypothese bleibt unberührt. Was geändert wird, sind die Kriterien im BH-Verfahren.

Yachthafen
quelle

Antworten:

7

Ja, diese Dinge werden ziemlich oft gemacht, zumindest in der Genetik. Um Ihre spezifischen Punkte anzusprechen:

  1. Dies geschieht ziemlich häufig, und ich habe die Ergebnisse auf diese Weise persönlich gemeldet. Stellen Sie jedoch sicher, dass Sie klarstellen, auf welcher FDR-Ebene Sie Bericht erstatten. Denken Sie an eine "marginale" Bedeutung; Leute mögen es interessant finden, aber sie müssen wissen, was sie sehen.

  2. Nein, Sie müssten dafür nicht mehrere Korrekturen vornehmen, da Sie bereits erwähnt haben, dass Sie das einfach manipulieren P-Werte auf eine andere Art und Weise und nichts ändern.

Ich würde auch weiter untersuchen, was Dr. Motulsky oben erwähnt hat, wenn ich Sie wäre. Berichterstattung über dieq Wert ist eine sehr häufige und nützliche Metrik.

Chris C.
quelle
Chirs, könnten Sie mir die Referenz mitteilen, wenn Sie dieses Verfahren durchgeführt haben? Vielen Dank!!!
Marina
1
Hallo Marina, das ist die Referenz, über die ich gesprochen habe (das bin ich als Erstautor). In Tabelle 3 und 4 habe ich berichtetP-Werte für einen bestimmten FDR, wobei der FDR in den Fußnoten der Tabelle vermerkt ist. Diese Ergebnisse waren wirklich marginal signifikant, deshalb wollten wir sie wirklich nur für den Fall platzieren, dass sie woanders repliziert wurden. Wir haben nicht behauptet, dass sie überhaupt genomweit bedeutsam sind, nur dass die Ergebnisse etwas sind, das die Leute vielleicht weiter untersuchen möchten. Wenn Sie Fragen haben, bin ich ziemlich oft dabei. Prost
Chris C
5

Eine Alternative, die Sie möglicherweise nützlich finden, besteht darin, für jeden Vergleich den q-Wert anzugeben. Der q-Wert (Kleinbuchstabe) ist der Q-Wert (Großbuchstabe), bei dem dieser bestimmte Vergleich genau an der Grenze einer Entdeckung liegen würde. Sie können dann den q-Wert für jeden Vergleich angeben und nicht nur eine Liste, bei der Vergleiche "Entdeckungen" sind, indem Sie einen beliebigen Wert von Q verwenden.

Harvey Motulsky
quelle
danke für Ihren Vorschlag. Ich denke, es geht in die gleiche Richtung wie Storey 2003 PNAS, aber ich möchte diese beiden Fragen trotzdem klären. Danke!
Marina
0

Alpha = 0,05 hat nichts Magisches.

Ich sehe nichts falsches daran, mit alpha / q = .10 zu arbeiten. Ich würde auch Konfidenzintervalle melden (und diese ebenfalls anpassen).

Alternativ können Sie ein Bayes'sches Modell mit Prioritäten verwenden, um falsch positive Ergebnisse (Hufeisen, Laplace) zu erzielen.

BKV
quelle