Bonferroni-Korrektur mit Pearson-Korrelation und linearer Regression

9

Ich verwende Statistiken zu 5 IVs (5 Persönlichkeitsmerkmale, Extroversion, Verträglichkeit, Gewissenhaftigkeit, Neurotizismus, Offenheit) gegen 3 DVs. Einstellung zu PCT, Einstellung zu CBT, Einstellung zu PCT gegen CBT. Ich habe auch Alter und Geschlecht hinzugefügt, um zu sehen, welche anderen Auswirkungen es gibt.

Ich teste, ob Persönlichkeitsmerkmale die Einstellungen der DVs vorhersagen können.

Ich habe zunächst die Pearson-Korrelation für alle Variablen verwendet (45 Tests).

Das Hauptergebnis war, dass die Extroversion mit der Einstellung der PCT bei p = 0,05 korrelierte. Da ich jedoch 45 Tests durchführte, führte ich eine Bonferroni-Korrektur von Alpha = 0,05 / 45 = 0,001 durch, wodurch dieser Befund unbedeutend wurde.

Ich habe dann eine einfache lineare Regression für alle Variablen durchgeführt. Wiederum war die Extroversion mit der Einstellung zu PCT signifikant. Wenn ich die Bonferroni-Korrektur mache, kommt sie wieder unbedeutend heraus.

Fragen:

  1. Muss ich Bonferroni bei Pearsons Korrelation korrigieren?
  2. Wenn ich dies tue und daher die Extroversion mit der Einstellung zu PCT unbedeutend mache, gibt es dann noch einen Grund, eine lineare Regression durchzuführen?
  3. Wenn ich eine lineare Regression durchführe, muss ich auch dafür die Bonferroni-Korrektur durchführen?
  4. Melde ich nur korrigierte Werte oder sowohl nicht korrigierte als auch korrigierte Werte?
Wendy
quelle

Antworten:

4

Ich denke, Chl hat Sie auf viele gute Materialien und Referenzen hingewiesen, ohne die Frage direkt zu beantworten. Die Antwort, die ich gebe, mag ein wenig kontrovers sein, weil ich weiß, dass einige Statistiker nicht an die Anpassung der Multiplizität glauben und viele Bayesianer nicht an den p-Wert glauben. Tatsächlich hörte ich einmal Don Berry sagen, dass die Verwendung des Bayes'schen Ansatzes, insbesondere bei adaptiven Designs, die Fehler vom Typ I kontrollieren, kein Problem darstellt. Er nahm das später zurück, nachdem er gesehen hatte, wie wichtig es für die FDA praktisch ist, sicherzustellen, dass schlechte Medikamente nicht auf den Markt kommen.

Meine Antwort lautet ja und nein. Wenn Sie 45 Tests durchführen, müssen Sie sich sicherlich auf die Vielfalt einstellen, aber nicht auf Bonferroni, da dies viel zu konservativ sein könnte. Die Inflation des Typ-I-Fehlers, wenn Sie meine Daten auf Korrelation untersuchen, ist eindeutig ein Problem, das mit dem zitierten Beitrag "Schauen und Sie werden Korrelation finden" Aufmerksamkeit erregt hat. Alle drei Links bieten großartige Informationen. Was meiner Meinung nach fehlt, ist der von Westfall und Young so gut entwickelte Resampling-Ansatz zur p-Wert-Anpassung. Sie finden Beispiele in meinem Bootstrap-Buch oder vollständige Details in ihrem Resampling-Buch. Meine Empfehlung wäre, Bootstrap- oder Permutationsmethoden für die Anpassung des p-Werts in Betracht zu ziehen und möglicherweise die Rate falscher Entdeckungen gegenüber der strengen familienbezogenen Fehlerrate zu berücksichtigen.

Link zu Westfall und Young: http://www.amazon.com/Resampling-Based-Multiple-Testing-Adjustment-Probability/dp/0471557617/ref=sr_1_1?s=books&ie=UTF8&qid=1343398751&sr=1-1&keywords=peter+ Westfall

Jüngstes Buch von Bretz et al. Über mehrere Vergleiche: http://www.amazon.com/Multiple-Comparisons-Using-Frank-Bretz/dp/1584885742/ref=sr_1_2?s=books&ie=UTF8&qid=1343398796&sr=1-2&keywords= Peter + Westfall

Mein Buch mit Material in Abschnitt 8.5 und unzähligen Bootstrap-Referenzen: http://www.amazon.com/Bootstrap-Methods-Practitioners-Researchers-Probability/dp/0471756210/ref=sr_1_2?s=books&ie=UTF8&qid=1343398953&sr=1 -2 & keywords = michael + chernick

Michael R. Chernick
quelle
+1 Die Reproduktion von Graham Martins Münchhausen's Statistical Grid am Ende von Westfall & Young sagt alles auf sehr ansprechende Weise. Sie können dies in der Amazon-Funktion "Look Inside" lesen. (Es ist fast genauso amüsant zu sehen, wie Amazon einen
Eintauschpreis
@whuber Ich glaube, ich habe einmal einen Cartoon gesehen, der den Baron zeigt, wie er sich an seinen Stiefelriemen aus einem See zieht. Efron war vielleicht klug, es den Bootstrap zu nennen, da viele skeptisch sind, dass dies in Statistiken möglich ist, genauso wie viele skeptisch gegenüber der Legende des Barons sind!
Michael R. Chernick
4

Es klingt für mich so, als wäre dies explorative Forschung / Datenanalyse , nicht bestätigend. Das heißt, es hört sich nicht so an, als hätten Sie mit einer Theorie begonnen, die besagt, dass aus irgendeinem Grund nur Extroversion mit PCT in Verbindung gebracht werden sollte. Ich würde mir also keine allzu großen Sorgen um Alpha-Anpassungen machen, da ich denke, dass dies eher mit CDA zusammenhängt, und ich würde auch nicht denken, dass Ihre Feststellung notwendigerweise wahr ist. Stattdessen würde ich es als etwas betrachten, das es könnteSei wahr und spiele mit diesen Ideen / Möglichkeiten im Lichte dessen, was ich über die vorliegenden Themen weiß. Wenn Sie diesen Befund gesehen haben, klingt er dann richtig oder sind Sie skeptisch? Was würde es für die aktuellen Theorien bedeuten, wenn es wahr wäre? Wäre es interessant? Wäre es wichtig? Lohnt es sich, eine neue (bestätigende) Studie durchzuführen, um festzustellen, ob dies der Fall ist, und dabei den potenziellen Zeit-, Arbeits- und Kostenaufwand zu berücksichtigen? Denken Sie daran, dass der Grund für Bonferroni-Korrekturen darin besteht, dass wir erwarten , dass bei so vielen Variablen etwas angezeigt wird . Ich denke also, eine Heuristik kann sein, wäre diese Studie ausreichend informativ, selbst wenn sich herausstellt, dass die Wahrheit Nein ist'? Wenn Sie entscheiden, dass es sich nicht lohnt, bleibt diese Beziehung in der Kategorie "Macht" und Sie fahren fort. Wenn es sich jedoch lohnt, testen Sie sie.

gung - Monica wieder einsetzen
quelle
Wenn er wirklich versteht, was explorative Datenanalyse ist, und die großen Zusammenhänge nicht zu ernst nimmt, würde ich Ihnen zustimmen. Aber die Leute werden zugeben, dass sie nur explorative Analysen durchführen, um die wekly korrelierten herauszufiltern, aber dennoch übermäßig aufgeregt sind, wenn sie etwas Vielversprechendes sehen. Das gehört zur menschlichen Natur. Ich denke, dass die Anpassung mit FDR als Kriterium ein vernünftiger Weg ist, um die Aufregung unter Kontrolle zu bringen.
Michael R. Chernick
1
@ MichaelChernick, ich bin nicht unbedingt anderer Meinung als du. Ich wollte nur eine andere Meinung äußern und ich mag es oft, eine umfassende, halbphilosophische Perspektive zu geben, um was es sich handelt. Viele Praktizierende können sich in Details festsetzen, die ihnen geheimnisvoll erscheinen und ohne fundiertes Verständnis zurückbleiben.
Gung - Reinstate Monica
1
Hier gibt es keine Meinungsverschiedenheiten und ich verstehe Ihren Standpunkt. Ich möchte nur hinzufügen, dass wir genau das tun könnten, was Sie sagen, wenn wir entmutigt sein und statistische Prinzipien akzeptieren und nicht persönlich mit einem begründeten Interesse am Ergebnis an unsere Forschung gebunden werden könnten. Aber es ist so schwer zu tun. Stellen Sie sich vor, Sie arbeiten für ein Pharmaunternehmen, das Millionen für die klinische Forschung eines bestimmten Arzneimittels ausgegeben hat, und lassen es scheitern. Der medizinische Direktor wird Sie bitten, 20 verschiedene Untergruppen zu suchen und eine zu finden, die funktioniert.
Michael R. Chernick
1
Die Subgruppenanalyse ist einer der umstrittensten Aspekte der klinischen Forschung. Ohne eine Anpassung der Multiplizität gibt es keine Möglichkeit, dies zu legitimieren, und eine post-hoc-Anpassung erschwert den Verkauf an die FDA. Dies ist nur ein Beispiel aus meiner Erfahrung in den letzten Jahren, das mich für Vorschläge sensibilisiert, die Vielfalt zu ignorieren.
Michael R. Chernick
-1

Gemäß den folgenden Angaben: http://birnlab.psychiatry.wisc.edu/resources/fMRI_TestRetest_Documentation.pdf

Korrigieren Sie bei der Bestimmung der Signifikanz den p-Wert für mehrere Vergleiche. Zum Beispiel ist ein Bonferroni-korrigierter p-Wert der p-Wert geteilt durch die Gesamtzahl der Vergleiche, in diesem Fall die m (m - 1) / 2 eindeutigen Verbindungen.

Beispielsweise beträgt Ihr Cutoff-p-Wert für eine Korrelation 0,05 und Ihre Korrelationstabelle ist 100 * 100. Dann sollte Ihr p-Wert auf 0,05 / (100 * 99/2) eingestellt werden.

Die lineare Regression wendet die Bonferroni-Korrektur ähnlich wie oben an.

Ich weiß, dass die Antwort nicht mit dem zusammenhängt, was Sie fragen. In diesem Fall lassen Sie es mich bitte wissen und ich werde mein Bestes geben, um dies zu klären. Hoffe, dass es hilft.

Frank Puk
quelle