Warum nicht eine Metaanalyse für teilweise simulierte Daten durchführen?

11

Hintergrund:

Eine typische Metaanalyse in der Psychologie könnte versuchen, die Korrelation zwischen zwei Variablen X und Y zu modellieren. Die Analyse würde typischerweise das Erhalten einer Reihe relevanter Korrelationen aus der Literatur zusammen mit Stichprobengrößen beinhalten. Formeln können dann angewendet werden, um eine gewichtete Durchschnittskorrelation zu berechnen. Anschließend können Analysen durchgeführt werden, um festzustellen, ob die Korrelationen zwischen den Studien um mehr variieren, als dies durch bloße Auswirkungen von Zufallsstichproben impliziert würde.

Darüber hinaus können Analysen wesentlich komplexer gestaltet werden. Schätzungen können hinsichtlich Zuverlässigkeit, Bereichsbeschränkung und mehr angepasst werden. Korrelationen können in Kombination verwendet werden, um die Modellierung von Metastrukturgleichungen oder die Regression von Metas usw. zu untersuchen.

Alle diese Analysen werden jedoch unter Verwendung von zusammenfassenden Statistiken (z. B. Korrelationen, Quotenverhältnisse, standardisierte mittlere Differenzen) als Eingabedaten durchgeführt. Dies erfordert die Verwendung spezieller Formeln und Verfahren, die zusammenfassende Statistiken akzeptieren.

Alternativer Ansatz zur Metaanalyse

Daher habe ich über einen alternativen Ansatz zur Metaanalyse nachgedacht, bei dem Rohdaten als Eingabe verwendet werden. Das heißt, für eine Korrelation wären die Eingabedaten die Rohdaten, die zur Bildung der Korrelation verwendet werden. Offensichtlich sind in den meisten Metaanalysen mehrere, wenn nicht die meisten tatsächlichen Rohdaten nicht verfügbar. Ein grundlegendes Verfahren könnte also folgendermaßen aussehen:

  1. Wenden Sie sich an alle veröffentlichten Autoren, die nach Rohdaten suchen, und verwenden Sie, falls angegeben, die tatsächlichen Rohdaten .
  2. Simulieren Sie für Autoren, die keine Rohdaten bereitstellen, Rohdaten so, dass sie identische zusammenfassende Statistiken wie die gemeldeten enthalten. Solche Simulationen könnten auch jegliches Wissen beinhalten, das aus den Rohdaten gewonnen wurde (z. B. wenn bekannt ist, dass eine Variable verzerrt ist usw.).

Es scheint mir, dass ein solcher Ansatz mehrere Vorteile haben könnte:

  • Für Analysen können statistische Tools verwendet werden, die Rohdaten als Eingabe verwenden
  • Wenn Autoren von Metaanalysen zumindest einige tatsächliche Rohdaten erhalten, wären sie gezwungen, Probleme im Zusammenhang mit den tatsächlichen Daten (z. B. Ausreißer, Verteilungen usw.) zu berücksichtigen.

Frage

  • Gibt es Probleme bei der Durchführung von Metaanalyse-Studien mit einer Kombination aus echten Rohdaten und Daten, die so simuliert wurden, dass sie identische zusammenfassende Statistiken wie vorhandene veröffentlichte Studien aufweisen?
  • Wäre ein solcher Ansatz den bestehenden Methoden zur Durchführung von Metaanalysen für zusammenfassende Statistiken überlegen?
  • Gibt es Literatur, die diesen Ansatz diskutiert, befürwortet oder kritisiert?
Jeromy Anglim
quelle
1
Zu Nr. 1: Meistens scheint es wahnsinnig schwierig zu sein, alle Daten in dasselbe Format zu zwingen! Zu Nr. 2: Es sei denn, a) Sie verwenden besonders schlechte Methoden oder b) die zusammenfassende Statistik ist auch eine ausreichende Statistik für die Parameter, an denen Sie interessiert sind.
Andy McKenzie
1
@Andy McKenzie Re # 1: Das mache ich gerade (dh IPD-Metaanalyse). Angesichts der Tatsache, dass meine Ergebnisstatistiken aus Regressionsmodellen stammen, scheint mir dies der nützlichste Ansatz zu sein. Ich weiß, dass du "die meiste Zeit" geschrieben hast :-)
Bernd Weiss

Antworten:

6

Es gibt bereits Ansätze, die darauf abzielen, individuelle und aggregierte Personendaten zu synthetisieren. Das Patent von Sutton et al. (2008) wendet einen Bayes'schen Ansatz an, der (IMHO) einige Ähnlichkeiten mit Ihrer Idee aufweist.

  • Riley, RD, Lambert, PC, JA Staessen, J. Wang, F. Gueyffier, L. Thijs & F. Boutitie (2007). Metaanalyse kontinuierlicher Ergebnisse, bei der einzelne Patientendaten und aggregierte Daten kombiniert werden. Statistics in Medicine, 27 (11), 1870–1893. doi: 10.1002 / sim.3165 PDF

  • Riley, RD & Steyerberg, EW (2010). Metaanalyse eines binären Ergebnisses anhand einzelner Teilnehmerdaten und aggregierter Daten. Forschungssynthesemethoden, 1 (1), 2–19. doi: 10.1002 / jrsm.4

  • Sutton, AJ, Kendrick, D. & Coupland, CAC (2008). Metaanalyse von Daten auf Einzel- und Aggregatebene. Statistics in Medicine, 27 (5), 651–669.

Bernd Weiss
quelle
10

Ich danke @Bernd, dass er mich in die richtige Richtung gelenkt hat. Hier sind einige Anmerkungen zu den Referenzen, die er in seiner Antwort erwähnt hat, sowie einige der Referenzen, die in diesen Artikeln erwähnt werden.

Sutton et al. (2008)

Sutton et al. Verwenden im Gesundheitskontext die Begriffe individuelle Patientendaten im Vergleich zu aggregierten Daten .

Sie stellen fest, dass die Analyse einzelner Patientendaten häufig als Goldstandard für die Metaanalyse angesehen wird, unter Berufung auf Stewart und Clark (1995). Es ist besonders nützlich, um die Datenqualität zu bewerten und Analysen zu Werten durchzuführen, die nicht in vorhandenen Berichten angegeben sind (z. B. bestimmte Untergruppenanalysen). Natürlich stellen sie Probleme fest, wie die Unmöglichkeit, in einigen Fällen alle individuellen Patientendaten zu erhalten, und die zusätzlichen Kosten bei der Verarbeitung solcher Daten. Sie stellen auch fest, dass bei einfachen Modellen, bei denen die zusammenfassenden Statistiken verfügbar sind, die Ergebnisse häufig ähnlich oder gleich sind.

Sie beobachten auch die Seltenheit der Metaanalyse einzelner Patienten unter Berufung auf eine Übersicht von Simmonds et al. (2005). Sie erwähnen auch den Übersichtsartikel der Metaanalyse, in dem einzelne Patientendaten mit aggregierten Daten von Riley RD, Simmonds et al. (2008) kombiniert werden.

Riley Lambert Abo-Zaid (2010)

In diesem Artikel beschreiben Riley et al. Mehr über die Metaanalyse einzelner Teilnehmerdaten. Sie beschreiben die Vorteile der Metaanalyse einzelner Teilnehmerdaten (z. B. konsistente Datenverarbeitung, Modellierung fehlender Daten, Überprüfung der ursprünglich gemeldeten Ergebnisse, mehr Analyseoptionen usw.).

Stewart & Tierney (2002)

Stewart und Tierney untersuchen die Vor- und Nachteile der Metaanalyse einzelner Patientendaten, wobei sie sich insbesondere auf praktische Fragen konzentrieren.

Riley Lambert et al. (2007)

Sie beschreiben Methoden zur Kombination einzelner Patientendaten mit aggregierten Daten in einstufigen und zweistufigen Ansätzen.

Cooper & Patall (2009)

Cooper und Patall haben einen Artikel als Teil einer Sonderausgabe zur Metaanalyse von Daten auf Einzelebene in psychologischen Methoden geschrieben (siehe Shrout, 2009 für eine Zusammenfassung). Cooper und Patall beschreiben die Forschungssynthese als eine in einer zweiten Übergangsphase:

Der erste Übergang erfolgt von der narrativen Forschungsübersicht, in der undurchsichtige Regeln der kognitiven Algebra verwendet werden, um die Ergebnisse von Studien zu synthetisieren, zur Metaanalyse von [aggregierten Daten]. Die zweite Stufe umfasst den Übergang von der Metaanalyse von [aggregierten Daten] zur Akkumulation von [einzelnen Daten auf Teilnehmerebene].

Fortsetzung folgt...

Verweise

  • Cooper, H. & Patall, EA (2009). Die relativen Vorteile einer Metaanalyse mit einzelnen Teilnehmerdaten gegenüber aggregierten Daten. Psychological Methods, 14 (2), 165–176. doi: 10.1037 / a0015565
  • Riley, RD, Lambert, PC, JA Staessen, J. Wang, F. Gueyffier, L. Thijs & F. Boutitie (2007). Metaanalyse kontinuierlicher Ergebnisse, bei der einzelne Patientendaten und aggregierte Daten kombiniert werden. Statistics in Medicine, 27 (11), 1870–1893. doi: 10.1002 / sim.3165 [PDF] (http://www.staessen.net/publications/2006-2010/08-21-P.pdf)
  • Riley, RD, Lambert, PC & Abo-Zaid, G. (2010). Metaanalyse einzelner Teilnehmerdaten: Begründung, Verhalten und Berichterstattung, BMJ, 340, 221.
  • Riley RD, Simmonds MC, Look MP. (2007) Evidenzsynthese, die einzelne Patientendaten und aggregierte Daten kombiniert: Eine systematische Überprüfung identifizierte die aktuelle Praxis und mögliche Methoden. Journal of Clinical Epidemiology, in Presse und Frühansicht.
  • Riley, RD & Steyerberg, EW (2010). Metaanalyse eines binären Ergebnisses anhand einzelner Teilnehmerdaten und aggregierter Daten. Forschungssynthesemethoden, 1 (1), 2–19. doi: 10.1002 / jrsm.4
  • Shrout, PE (2009). Kurz- und Langansichten der integrativen Datenanalyse: Kommentare zu Beiträgen zum Sonderheft. Psychologische Methoden, 14, 177.
  • Simmonds MC, Higgins JPT, Stewart LA, Tierney JF, Clarke MJ, Thompson SG. (2005). Metaanalyse einzelner Patientendaten aus randomisierten Studien: eine Überprüfung der in der Praxis verwendeten Methoden. Klinische Versuche ; 2: 209–217.
  • Stewart LA, Clarke MJ. Praktische Methodik von Metaanalysen (Übersichten) unter Verwendung aktualisierter individueller Patientendaten. Cochrane-Arbeitsgruppe. Statistik in der Medizin 1995; 14: 2057–2079.
  • Stewart LA, Tierney JF. IPD oder nicht IPD? Vor- und Nachteile systematischer Überprüfungen anhand individueller Patientendaten. Eval Health Prof 2002; 25: 76 & ndash; 97.
  • Sutton, AJ, Kendrick, D. & Coupland, CAC (2008). Metaanalyse von Daten auf Einzel- und Aggregatebene. Statistics in Medicine, 27 (5), 651–669.
Jeromy Anglim
quelle
Tolle Antwort, Jeromy! Eigentlich sollte dies die beste Antwort sein ... Hier sind noch ein paar Papiere, die in Ihrer Liste fehlen.
Bernd Weiss
Vielen Dank. Ich mache mir nur ein paar Notizen, während ich die Referenzen durchlese. Diese zusätzlichen Referenzen sind besonders nützlich, danke.
Jeromy Anglim