Wie sollte man in einer Metaanalyse mit nicht signifikanten Studien umgehen, die keine Rohdaten enthalten?

9

Angenommen, ich führe eine Metaanalyse durch und untersuche die Leistung von Gruppe A und Gruppe B in Bezug auf ein bestimmtes Konstrukt. Einige der Studien, auf die ich stoßen werde, werden nun berichten, dass keine statistischen Unterschiede zwischen den beiden Gruppen gefunden werden konnten, aber keine genauen Teststatistiken und / oder Rohdaten präsentiert werden. Wie soll ich in einer Metaanalyse mit solchen Studien umgehen?

Grundsätzlich sehe ich hier drei verschiedene Alternativen:

  1. Schließen Sie sie alle ein und weisen Sie jedem von ihnen eine Effektgröße von 0 zu.
  2. Wirf sie alle raus.
  3. Führen Sie für jeden von ihnen eine Art Leistungsanalyse durch oder legen Sie einen Schwellenwert für eine bestimmte Anzahl von Teilnehmern fest. Schließen Sie alle ein, die statistische Signifikanz hätten erreichen sollen, und weisen Sie jedem von ihnen eine Effektgröße von 0 zu. Werfen Sie den Rest weg.

Ich kann Verdienste mit all den verschiedenen Optionen sehen. Option eins ist ziemlich konservativ und Sie riskieren nur einen Fehler vom Typ II. Option zwei erhöht das Risiko eines Fehlers vom Typ I, vermeidet jedoch auch, dass Ihre Ergebnisse aufgrund einer Reihe von Studien mit unzureichender Leistung ruiniert werden. Option drei scheint der Mittelweg zwischen Option eins und Option zwei zu sein, aber es müssen viele Annahmen und / oder reine Vermutungen getroffen werden (Auf welcher Effektgröße sollten Sie Ihre Leistungsanalysen basieren? Welche Anzahl von Teilnehmern sollten Sie von jedem verlangen? studieren, damit es bestanden wird?), was das Endergebnis wahrscheinlich weniger zuverlässig und subjektiver macht.

hypothesis-testing power-analysis meta-analysis effect-size group-differences Speldosa
quelle
Weisen Sie keine Null zu, da dies eine Unterschätzung des Effekts darstellt. Ein Ansatz besteht darin, einen Wert der Effektgröße zuzuweisen, der einem p-Wert von 0,5 zugeordnet ist (der erwartete p-Wert, wenn die Nullhypothese wahr ist).
Jeremy Miles
1
Was würde Sie dazu bringen, einen Blick auf einen Wert zu werfen, wenn Sie entscheiden, was mit einer Studie geschehen soll, wenn Sie sie in eine Metaanalyse einbeziehen? Denken Sie an Schätzung, nicht an Hypothesentests . P
Frank Harrell
@JeremyMiles "Weisen Sie keine Null zu, da dies eine Unterschätzung des Effekts darstellt." - Ist es? Ich meine, es könnte sein, aber da keine Daten verfügbar sind, kann ich einfach nicht wissen, was der wahre Effekt für diese Studien ist.
Speldosa
@FrankHarrell-Studien, die nicht signifikante Ergebnisse melden, geben Ihnen einen Hinweis auf die tatsächliche Effektgröße für diese Studie. Studien, die überhaupt nichts melden, sind völlig nutzlos und führen nur dann zu Rauschen, wenn man davon ausgeht, dass die Tendenz besteht, nichts zu melden (nicht einmal einen fehlgeschlagenen statistischen Test), wenn kein Effekt vorliegt (vielleicht sollte man davon ausgehen, dass dies der Fall ist) ?). Die Frage, die ich für meine Metaanalyse untersuche, ist eine Frage, die sehr oft nicht die Hauptfrage (oder gar nicht die Frage, die die Autoren überhaupt stellen) der Studien ist, die ich betrachte.
Speldosa
1
@JeremyMiles Ich weiß, dass Sie vor einiger Zeit Ihre Schätzung der Effektgröße basierend auf einem p-Wert von 0,5 vorgelegt haben. Kennen Sie Arbeiten, die ich zitieren kann, wenn ich diesen Ansatz übernehme? Ich wäre für jede Hilfe sehr dankbar!

Antworten:

9

Wie Sie hervorheben, gibt es bei allen drei Ansätzen Vorteile. Es gibt eindeutig keine Option, die am besten ist. Warum nicht alle 3 machen und die Ergebnisse als Sensitivitätsanalyse präsentieren?

Eine Metaanalyse mit umfangreichen und angemessenen Sensitivitätsanalysen zeigt lediglich, dass der Autor die Grenzen der vorliegenden Daten gut kennt, den Einfluss der Entscheidungen, die wir bei der Durchführung einer Metaanalyse treffen, deutlich macht und kritisch bewerten kann Die Konsequenzen. Für mich ist das das Zeichen einer gut durchgeführten Metaanalyse.

Jeder, der jemals eine Metaanalyse durchgeführt hat, weiß sehr gut, dass auf dem Weg viele Entscheidungen getroffen werden müssen, und diese Entscheidungen können einen erheblichen Einfluss auf die erzielten Ergebnisse haben. Der Vorteil einer Metaanalyse (oder allgemeiner einer systematischen Überprüfung) besteht darin, dass die Methoden (und damit die Entscheidungen und Entscheidungen) explizit gemacht werden. Und man kann ihren Einfluss systematisch bewerten. Genau so sollte eine Metaanalyse durchgeführt werden.

Wolfgang
quelle
4

Hier sind die Schritte, die ich unternehmen würde (und die ich meinen Schülern beibringe):

1) Kontaktieren Sie die Autoren der Originalforschung. Seien Sie höflich und fordern Sie genaue Effektschätzungen an, die Sie in Ihrer Metaanalyse verwenden können. Das Schlimmste, was passieren kann, ist, dass sie nicht antworten oder sich weigern, Ihnen die Informationen zu geben. Im besten Fall erhalten Sie genau die Informationen, nach denen Sie gesucht haben.

2) Wenn Sie genaue p-Werte haben, können Sie SDs häufig mit einer gewissen Sicherheit zurückrechnen.

3) Sie machen eine Art Anrechnung. Dies könnte darin bestehen, die Effektschätzung aus Studien ähnlicher Größe, die größte SD in der Metaanalyse, die SD aus ähnlichen Studien in derselben Metaanalyse, Expertenmeinung usw. zu „entlehnen“. Es gibt viele Möglichkeiten, die fehlenden Daten zu unterstellen, einige davon wissenschaftlich korrekter als andere, aber das Wichtigste ist, dass Sie sich klar darüber sind, was Sie getan haben, und eine Sensitivitätsanalyse durchführen, um die Auswirkung der Imputation (en) auf die Schätzung des gepoolten Effekts zu bestimmen.

3) Sie setzen die Studien in die Metaanalyse mit den fehlenden Daten ein. Das Programm (z. B. RevMan) gibt diesen Studien kein Gewicht in der Analyse, da es die Effektschätzung und Varianz für diese Studie nicht berechnen kann, aber Sie können visuell zeigen, dass es zusätzliche Studien mit Teildaten gab das war nicht Teil der gepoolten Berechnung.

4) Sie geben keine Daten aus diesen Studien an.

Such dir Gift aus ...

Abousetta
quelle