Wie ist ohne mehrstufige Modellierung die Replikation innerhalb einer Studie in einer Metaanalyse zu handhaben, wobei die Studie die Replikationseinheit ist?

Beschreibung der Studie:

Ich habe einen häufigen Fehler bei Metaanalysen in Bezug auf die Behandlung der Replikation innerhalb der Studie beobachtet. Es ist mir nicht klar, ob der Fehler die Studien ungültig macht, wenn Annahmen gemacht werden. Nach meinem Verständnis verstoßen diese Annahmen jedoch gegen eine grundlegende Prämisse der Statistik.

Als Beispiel testet eine Studie über die Auswirkungen von chemischen auf Antwort . $X$ $Y$

Die Analyse wird mit dem logarithmischen Antwortverhältnis durchgeführt: Das Verhältnis der Behandlung (in Gegenwart von ) zur Kontrolle von (kein ): $Y_{+X}$ $X$ $Y_{0}$ $X$

R = \ln (\frac{Y_{+ X}}{Y_{0}})

$R = \ln(\frac{Y_{+X}}{Y_{0}})$

Einige der Studien in der Meta-Analyse eingeschlossen enthalten mehrere Behandlungen, beispielsweise unterschiedliche Ebene oder chemische Formen von . Für jede Behandlung gibt es einen anderen Wert von , obwohl immer den gleichen Wert von . $X$ $R$ $R$ $Y_0$

Die Methoden besagen:

Die Reaktionen auf verschiedene Behandlungen (Spiegel und Formen von ) innerhalb einer einzigen Studie wurden als unabhängige Beobachtungen angesehen. $X$

Fragen:

Ist das nicht Pseudo-Replikation?
Ist es unangemessen, auch wenn die Verletzung der Unabhängigkeit in den Methoden angegeben ist?
Was wäre eine einfache Möglichkeit (z. B. im Rahmen der Fähigkeit eines einfachen Metaanalyse-Softwarepakets), die Replikation von Studien durchzuführen?

Erste Gedanken:

Fassen Sie die Ergebnisse jeder Studie zusammen, z
Wählen Sie nur eine Behandlung aus jeder Studie basierend auf A-priori-Kriterien aus (z. B. höchste Dosis, erste Messung).

Gibt es noch andere Lösungen?

repeated-measures meta-analysis David LeBauer
quelle

Dies ist nur eine kurze Vermutung, aber vielleicht möchten Sie Kim / Becker 2010 überprüfen : Der Grad der Abhängigkeit zwischen den Effektgrößen bei Mehrfachbehandlung ; Ich habe den Artikel nicht gelesen, aber möglicherweise hängt er mit Ihrer Frage zusammen.

Bernd Weiss

Berechnet die Metaanalyse wirklich nur den Durchschnitt aller Differenzwerte von R? Dies scheint ziemlich seltsam zu sein, verglichen mit dem Versuch einer Meta-Regression. In diesem Fall könnten die Unterschiede zwischen R auf verschiedenen Ebenen von X das sein, woran Sie interessiert sind, wenn Sie studienübergreifend kombinieren.

Gast

@ Gast ja, sie sind wirklich; Es wäre von Interesse, wie sich unterschiedliche X-Niveaus auf R auswirken, aber die Frage ist einfach: Gibt es einen Effekt von X? In diesem Zusammenhang kann es aufgrund der Vielzahl von Methoden und Studienbedingungen nur begrenzt möglich sein, die Wirkung von X auf R zu testen (Reaktion des Ökosystems auf die Zugabe von Nährstoffen).

David LeBauer

Du hast recht, es ist ein Problem. Nicht so sehr mit den Punktschätzungen, aber die Genauigkeitsmaße (dh Standardfehler) werden zu klein sein; Die Mehrfachverwendung der Daten der Kontrollgruppe wird ignoriert. Es sollte jedoch für niemanden in der Metaanalyse eine Neuigkeit sein. Der obige Kim / Becker-Artikel ist im Grunde eine Neuaussage von Gleser & Olkin (1994). Stochastisch abhängige Effektgrößen. In Cooper & Hedges (Hrsg.), Das Handbuch der Forschungssynthese (S. 339–355). Dieses Buch ist ein Standardtext in diesem Bereich, ich glaube jetzt in einer zweiten Auflage.

Gast

Antworten:

Ja, es ist ein Problem, da die zu berücksichtigenden Antworten stichprobenabhängig sind (obwohl der Effekt manchmal vernachlässigbar sein kann und wir die Annahme bei jeder statistischen Analyse verletzen). Es gibt Methoden, um damit umzugehen. Ein Ansatz besteht darin, die Kovarianzen zwischen verwandten Experimenten (nicht diagonale Blöcke) in die Fehlervarianz-Kovarianz-Matrix aufzunehmen (siehe z. B. Hedges et al., 2010). Glücklicherweise ist dies bei Log-Verhältnissen recht einfach. Sie können angenäherte Kovarianzen zwischen den Experimenten erhalten, da die Varianz (var) von log R ist (wenn Yx und Y0 unabhängige Gruppen sind): log Yx - log Y0, um der Notation in der Frage zu folgen, wobei sich Yx auf die experimentelle Gruppe und Y0 auf die Kontrollgruppe. Die Kovarianz (cov) zwischen zwei Werten (z. B. Behandlung 1 und Behandlung 2) für log R ist cov (log Yx_1 - log Y0, log Yx_2 - log Y0), der var (log Y0) entspricht und als SD_Y0 / (n_Y0 * Y0) berechnet wird, wobei SD_Y0 die Standardabweichung von Y0 ist, n_Y0 die Stichprobengröße in der Kontrollbehandlung ist und Y0 ist der Wert in der Kontrollbehandlung. Jetzt können wir die gesamte Varianz-Kovarianz-Matrix in unser Modell einfügen, anstatt nur die Varianzen (ei) zu verwenden, die der klassische Weg zur Durchführung einer Metaanalyse ist. Ein Beispiel hierfür finden Sie inLimpens et al. 2011 mit dem Metahdep-Paket in R (auf Bioleiter) oder Stevens und Taylor 2009 für Hedge´s D.

Wenn Sie es sehr einfach halten möchten, wäre ich versucht, das Problem zu ignorieren und zu versuchen, die Auswirkung der Stichprobenabhängigkeit zu bewerten (z. B. wie viele Behandlungen gibt es in Studien? Wie ändern sich die Ergebnisse, wenn ich nur eine Behandlung verwende? Usw.) .

GGeco
quelle

Ja, das ist ein Problem.

Ja, es ist unangemessen, obwohl es zumindest transparent darüber ist, was es tut (es erhält Punkte für Transparenz, ist aber immer noch nicht zufriedenstellend).

Ich bezweifle, dass es einen "einfachen Weg" gibt, dies zu beheben. Ich weiß nicht viel über die Ansätze zur Metaanalyse, aber wenn es eine spezielle Metaanalyse-Software gibt und Forschung wie diese damit erstellt und veröffentlicht wird, kann dies der übliche Ansatz sein. Jede der von Ihnen vorgeschlagenen Antworten verliert eine gewisse Genauigkeit der Informationen aus jeder Studie (dh das entgegengesetzte Problem dessen, was die Herausgeber getan haben).

Die naheliegende Lösung ist ein Mixed-Effects-Modell (dh ein Mehrebenenmodell) mit einer Studie als Zufallsfaktor. Ich würde vorschlagen, ein spezielles Statistikpaket dafür zu verwenden, wenn die Metaanalyse-Software dies nicht kann. Sie können die Metaanalyse-Software weiterhin zur Datenspeicherung und -verarbeitung verwenden und nur Daten für die Analyse nach R, Stata oder SAS exportieren.

Peter Ellis
quelle

Ich hatte über klinische Studien nachgedacht und mich gefragt, ob es in der Situation, in der eine Dosis-Wirkungs-Kurve resultierte, in Ordnung war, weil es dann sein könnte, Kurvenfunktionen zu vergleichen. Ist das eine Möglichkeit?

Michelle

Ich denke, es macht keinen großen Unterschied für das Problem, dass mehrere Ergebnisse einer Studie in irgendeiner Weise miteinander korrelieren und daher keine "neuen" Informationen sind. Eine Meta-Analyse von Kurvenfunktionen wäre jedoch durchaus möglich, sofern Sie die Korrelation zwischen den verschiedenen Schätzungen dieser Kurven überprüfen. Wenn sie alle dieselbe Form haben und es nur darum geht, Parameter abzuschätzen, sollte dies möglich sein.

Peter Ellis

@Michelle Ich stimme Peter zu: Wenn Sie die Parameter der Kurve zusammenfassen, erhalten Sie eine Parameterschätzung für jede Kurve, und das sollte in Ordnung sein.

Abe