Mehrstufige multivariate Meta-Regression

Hintergrund:
Ich möchte eine Meta-Regression mit Studien durchführen, die (1) mehrere Ergebnisse / Konstrukte (= multivariat) und (2) mehrere Effektgrößen für jedes dieser Ergebnisse aufgrund unterschiedlicher Maßnahmen aufweisen. Hier ist ein Schema, das es hoffentlich am besten erklärt:

• Studie 1, Ergebnis A, Effektgröße 1
• Studie 1, Ergebnis A, Effektgröße 2
• Studie 1, Ergebnis B, Effektgröße 3
• Studie 2, Ergebnis A, Effektgröße 4
• Studie 2, Ergebnis C, Effektgröße 5
• Studie 2, Ergebnis C, Effektgröße 6
• ...

Studien vergleichen die Mittelwerte zweier Gruppen zu unterschiedlichen Ergebnissen und Effektgrößen sind Hedge's g.

Ein praktisches Beispiel wäre "Arbeitsgedächtnis", das in verschiedene Ergebnisse unterteilt werden kann (Baddeley, 1974), z. B. "Phonological Loop", "Visuospatial Sketchpad" oder "Central Executive".
Zum Beispiel bewertet Studie 1 "Phonologische Schleife" (Ergebnis A) mit zwei verschiedenen Maßnahmen (= Effektgröße 1 und 2) und "Central Executive" (Ergebnis B) mit einer Maßnahme (= Effektgröße 3).

Problem:
Ein geeigneter multivariater Ansatz erfordert die Kenntnis jeder Korrelation zwischen Effektgrößen und Ergebnissen, um die Kovarianzen abzuschätzen. Ich kenne jedoch nicht (1) die Korrelationen zwischen verschiedenen Effektgrößen innerhalb derselben Studie und (2) die Korrelationen zwischen den Ergebnissen verschiedener Studien. Ich kann sie abschätzen oder versuchen, zumindest ein paar Korrelationen zu finden, mit denen ich arbeiten kann, aber das würde eine Menge zusätzlicher Literaturrecherche bedeuten, die ich vermeiden möchte.

Lösung (bisher):
Ich bin auf einige Methoden gestoßen, die sich mit ähnlichen Problemen befassen.
Die robuste Varianzschätzung (Hedges, 2010) ist ein guter Ansatz, um mit mehreren Effektgrößen umzugehen. Ich muss jedoch noch eine Korrelation erraten und eine Sensitivitätsanalyse durchführen, und es scheint auch nicht möglich zu sein, mehrere Ergebnisse zu vergleichen (dh nur univariate Meta-Regression).
Der mehrstufige Ansatz von Van den Noorgate (2014) ist vielversprechend, da keine Korrelation geschätzt werden muss, indem Variationen zwischen Effektgrößen und zwischen Effektgrößen innerhalb von Studien zugelassen werden. Eine mehrstufige multivariate Metaanalyse (= unterschiedliche Ergebnisse und mehrere Effektgrößen wie im obigen Schema) und eine mehrstufige univariate Meta-Regression (= mehrere Effektgrößen, aber keine Unterscheidung zwischen Ergebnissen) werden beschrieben.

Mit dem Metafor-Paket in R frage ich mich, ob ich beide mehrstufigen Ansätze kombinieren und eine mehrstufige multivariate Meta-Regression durchführen kann. Beispiele für eine mehrstufige Metaanalyse und eine multivariate Meta-Regression mit metafor finden Sie hier http://www.metafor-project.org/doku.php/analyses:konstantopoulos2011 (mehrstufig) und hier http: //www.metafor- project.org/doku.php/analyses:berkey1998 (multivariat). (Bitte beachten Sie, dass das oben verlinkte Mehrebenen-Beispiel tatsächlich einen Ansatz zum Umgang mit hierarchischen Abhängigkeiten beschreibt (z. B. Studien, die von demselben Forschungslabor durchgeführt wurden). Stattdessen verwende ich den von Van den Noorgate beschriebenen Mehrebenen-Ansatz.)

Variablen:
ES: Effektgrößen (Hedge's g)
VI: Varianz der Effektgrößen
Pub_Year: Erscheinungsjahr als Prädiktor in der Meta-Regression
ES_ID: Jede Effektgröße hat eine eindeutige ID, unabhängig davon, zu welcher Studie oder welchem ​​Ergebnis sie gehört.
Outcome_ID: Dieselben Ergebnisse haben dieselbe ID (z. B. "Phonological Loop" = 1, "Central Executive" = 2), unabhängig davon, zu welcher Studie sie gehören.
Study_ID: Effektgrößen derselben Studie haben dieselbe ID (z. B. Effektgrößen von Studie 1 = 1, Effektgrößen von Studie 2 = 2), unabhängig davon, zu welchem ​​Ergebnis sie gehören.

R-Code in metafor für die mehrstufige multivariate Metaanalyse:
rma.mv (ES, VI, mods = ~ Outcome_ID -1, random = list (~ 1 | Study_ID, ~ 1 | ES_ID), data = data.set)

• mods = ~ Outcome_ID -1 erfordert einen multivariaten Ansatz und listet die durchschnittlichen Effektgrößen für jedes Ergebnis auf.
• random = list (~ 1 | Study_ID, ~ 1 | ES_ID) ist der von Van den Noorgate beschriebene mehrstufige Ansatz. Es ermöglicht zufällige Variationen zwischen Effektgrößen innerhalb von Studien (~ 1 | Study_ID) und zwischen Effektgrößen (~ 1 | ES_ID). Sie können diese Analyse auch mit dem metaSEM-Paket durchführen. Die Ergebnisse sind identisch.

R-Code in metafor für die mehrstufige multivariate Meta-Regression:
rma.mv (ES, VI, mods = ~ Outcome_ID + Outcome: I (Pub_Year-mean (Pub_Year)) -1, random = list (~ 1 | Study_ID, ~ 1 | ES_ID), data = data.set)

• mods = ~ Outcome_ID + Outcome: I (Pub_Year-mean (Pub_Year)) -1 fordert jetzt eine multivariate Meta-Regression, wobei sich das Veröffentlichungsjahr um den Mittelwert als Prädiktor dreht.

Die Verwendung der Option profile () im Meta für die Profile Likelihood Plots sieht in Ordnung aus. Ich frage mich jedoch immer noch, ob ich das Modell nicht überparametriere oder ob etwas nicht stimmt, wenn ich die Mods- und Zufallsargumente auf diese Weise kombiniere.
Ich freue mich auf deine Meinung, Vorschläge, Ideen, andere Ansätze, alles ;-) Danke!

Update, Antwort auf Wolfgangs Antwort:

Zunächst einmal: Vielen Dank für Ihre ausführliche Antwort und die zusätzlichen Links, die Sie bereitgestellt haben. Ich wusste nichts über die Mailingliste für R-Sig-Mixed-Models. So danke! Ich schätze das sehr.

Lassen Sie mich versuchen, alles zusammenzufassen und an meine Situation anzupassen, um zu sehen, ob ich die Dinge hier richtig verstehe. Ich kann folgende Dinge tun:

1. Korrelationen erhalten: Korrelationen werden leider nicht gemeldet. Die Metaanalyse bestand zunächst aus mehr als 50 Studien. Fast die Hälfte der Studien hatte fehlende oder nicht gemeldete Daten. Jeder Autor dieser Studien wurde kontaktiert und ich erhielt 4 Antworten von 26 Anfragen (nach 2 Monaten Wartezeit). Dies ist jedoch ein allgemeines Berichterstattungsproblem, das hier nicht erörtert werden soll.

2. Wenn ich alle Korrelationen grob errate, kann ich:
   Eine multivariate Metaanalyse und Meta-Regression durchführen, wie bei Berkey et al. (1998) Beispiel und machen eine Sensitivitätsanalyse.
   Verwenden Sie dieses angepasste multivariate Metaanalysemodell und arbeiten Sie mit der robusten () Funktion. In metafor scheint jedoch keine auf der robust () -Funktion basierende Meta-Regression möglich zu sein. Und die in James Pustejovskys Blog beschriebene robuste () Funktion funktioniert nur mit univariaten Meta-Regressionen. Wenn ich es richtig verstehe, sind die Schätzungen der robusten () Funktion mehr oder weniger dazu da, die Schätzungen meines bereits angepassten Modells (?) Zu bestätigen.
   Entscheiden Sie sich direkt für robuste Methoden und verwenden Sie das Robumeta-Paket. Eine multivariate Metaanalyse ist jedoch nicht möglich. Ich habe einen SAS-Code gefundenum dieses Problem zu behandeln. Aber der Code wurde vor 3 Jahren entwickelt und es scheint, dass er nie wirklich diskutiert wurde. Am Ende muss ich bei der Verwendung von Robumeta viele verschiedene Ergebnisse in einer großen Metaanalyse zusammenfassen oder für jedes Ergebnis, das ich vermeiden möchte, mehrere univariate Metaanalysen durchführen.

3. Wenn ich keine Korrelation erraten möchte, kann ich den von Van den Noorgate beschriebenen Mehrebenenansatz mit metafor, metaSEM oder SAS verwenden. Es gibt jedoch einige Einschränkungen bei der Verwendung dieses Ansatzes im Vergleich zu einem multivariaten Ansatz, der auf Korrelationen basiert. Ich bin mir auch nicht sicher, ob eine mehrstufige multivariate Meta-Regression möglich ist. Das metaSEM-Paket beschreibt nur eine mehrstufige multivariate Metaanalyse oder eine mehrstufige univariate Meta-Regression.

Leider bin ich mit der Verwendung von Resampling-Methoden in der Metaanalyse nicht so vertraut. Ich habe Ihre Beispiele studiert, bin mir aber nicht sicher, wie es mir helfen kann, das „Korrelations- / Multivariaten“ -Problem zu lösen. Meinen Sie, ich sollte versuchen, die Korrelationen mithilfe von Bootstrapping abzuschätzen? Und wenn ja, bin ich mir nicht sicher, welche Werte korrelieren sollten, da sich die Anzahl der Mittelwerte oder Effektgrößen innerhalb und zwischen Studien unterscheidet.

Die von Riley und Kollegen beschriebene Vereinfachung des Modells klingt interessant. Ich denke daran, obwohl ich gerne mit einer der oben beschriebenen Methoden arbeiten würde.

Wie Sie bemerken, ist das Modell, das zufällige Effekte für jede Studie und zufällige Effekte für jedes Ergebnis hinzufügt, ein Modell, das die hierarchische Abhängigkeit berücksichtigt. Dieses Modell ermöglicht die Korrelation der tatsächlichen Ergebnisse / Effekte innerhalb einer Studie. Dies ist das Beispiel von Konstantopoulos (2011), auf das Sie verlinken.

Dieses Modell geht jedoch weiterhin davon aus, dass die Stichprobenfehler der beobachteten Ergebnisse / Effekte innerhalb einer Studie unabhängig sind, was definitiv nicht der Fall ist, wenn diese Ergebnisse bei denselben Personen bewertet werden. So wie bei Berkey et al. (1998) Beispiel, auf das Sie verweisen, idealerweise müssen Sie die gesamte Varianz-Kovarianz-Matrix der Stichprobenfehler (mit den Stichprobenvarianzen entlang der Diagonale) erstellen. Das Kapitel von Gleser und Olkin (2009) aus dem Handbuch für Forschungssynthese und Metaanalyse beschreibt, wie die Kovarianzen für verschiedene Ergebnismaße (einschließlich standardisierter mittlerer Differenzen) berechnet werden können. Die Analysen / Methoden aus diesem Kapitel werden hier repliziert (Sie haben es mit dem Fall mit mehreren Endpunkten zu tun).

Und wie Sie bemerken, müssen Sie dazu wissen, wie die tatsächlichen Messungen innerhalb der Studien korrelieren. Anhand Ihres Beispiels müssten Sie für Studie 1 wissen, wie stark die Korrelation zwischen den beiden Messungen für "Phonologische Schleife" war (genauer gesagt, es gibt zwei Korrelationen, eine für die erste und eine für die zweite Gruppe, aber wir gehen normalerweise davon aus dass die Korrelation für beide Gruppen gleich ist) und wie stark diese Messungen mit den Messungen der "Central Executive" korreliert waren. Also insgesamt drei Korrelationen.

Das Erhalten / Extrahieren dieser Korrelationen ist oft schwierig, wenn nicht unmöglich (da sie oft nicht gemeldet werden). Wenn Sie sie wirklich nicht erhalten können (auch nachdem Sie die Autoren der Studie kontaktiert haben, um die fehlenden Informationen zu erhalten), gibt es mehrere Möglichkeiten:

1. Man kann immer noch oft grob raten, wie groß die Korrelationen sind. Dann verwenden wir diese „Gastzahlen“ und führen Sensitivitätsanalysen durch, um sicherzustellen, dass die Schlussfolgerungen unverändert bleiben, wenn die Werte in einem angemessenen Bereich variiert werden.

2. Man könnte robuste Methoden verwenden - im Wesentlichen betrachten wir dann die angenommene Varianz-Kovarianz-Matrix der Stichprobenfehler als falsch spezifiziert (dh wir nehmen an, dass sie diagonal ist, obwohl wir tatsächlich wissen, dass dies nicht der Fall ist) und schätzen dann die Varianz -Kovarianzmatrix der festen Effekte (die typischerweise von primärem Interesse sind) unter Verwendung konsistenter Methoden, selbst unter einer solchen Modellfehlspezifikation. Dies ist im Wesentlichen der von Hedges, Tipton und Johnson (2010) beschriebene Ansatz, den Sie erwähnt haben.

3. Resampling-Methoden (dh Bootstrapping und Permutationstests) können ebenfalls funktionieren.

4. Es gibt auch einige alternative Modelle, die versuchen, das Problem durch eine Vereinfachung des Modells zu umgehen. Insbesondere im Modell / Ansatz von Riley und Kollegen (siehe zum Beispiel: Riley, Abrams, Lambert, Sutton & Thompson, 2007, Statistics in Medicine, 26, 78-97) nehmen wir an, dass die Korrelation zwischen den Stichprobenfehlern besteht ist identisch mit der Korrelation zwischen den zugrunde liegenden wahren Effekten, und dann schätzen wir nur diese eine Korrelation. Dies kann funktionieren, aber ob dies der Fall ist, hängt davon ab, wie gut diese Vereinfachung mit der Realität übereinstimmt.

5. Es gibt immer eine andere Option: Vermeiden Sie jegliche statistische Abhängigkeit durch Datenreduktion (z. B. Auswahl nur einer Schätzung, Durchführung separater Analysen für unterschiedliche Ergebnisse). Dies ist immer noch der am häufigsten verwendete Ansatz zur „Behandlung“ des Problems, da er es den Praktikern ermöglicht, sich an (relativ einfache) Modelle / Methoden / Software zu halten, mit denen sie bereits vertraut sind. Dieser Ansatz kann jedoch verschwenderisch sein und die Inferenz begrenzen (z. B. wenn wir zwei separate Metaanalysen für die Ergebnisse A und B durchführen, können wir nicht testen, ob der geschätzte Effekt für A und B unterschiedlich ist, es sei denn, wir können ihre Kovarianz erneut ordnungsgemäß berücksichtigen).

Hinweis: Das gleiche Problem wurde auf der Mailingliste für R-Sig-Mixed-Models besprochen, und im Wesentlichen wiederhole ich das, was ich dort bereits gepostet habe. Siehe hier .

Für die robuste Methode können Sie das Robumeta- Paket ausprobieren . Wenn Sie haften möchten metafor, werden Sie finden diese , Blog , Beiträge von James Pustejovsky von Interesse. Er arbeitet auch an einem anderen Paket namens clubSandwich, das einige zusätzliche Korrekturen für kleine Stichproben hinzufügt. Sie können auch die Entwicklungsversion von metafor(siehe hier ) ausprobieren. Sie enthält eine neue Funktion namens, robust()die Sie verwenden können, nachdem Sie Ihr Modell angepasst haben, um Cluster-robuste Tests und Konfidenzintervalle zu erhalten. Und Sie können einen Code finden Sie mit loszulegen Bootstrapping hier .