Begründung für ein Modell mit festen Effekten und zufälligen Effekten in der Metaanalyse

Ich habe mehrere Veröffentlichungen gelesen, in denen versucht wurde, die Verwendung eines Modells mit festen Effekten mit Aussagen nach dem Motto "Das Modell mit festen Effekten wurde gewählt, weil die Heterogenität gering war" zu rechtfertigen. Ich bin jedoch besorgt, dass dies möglicherweise immer noch ein unangemessener Ansatz für die Datenanalyse ist.

Gibt es Gründe oder Veröffentlichungen, die diskutieren, ob und warum dies ein Fehler sein könnte?

Hinweis: Wenn Sie eine schnelle Antwort auf Ihre Frage zur Verwendung des Heterogenitätstests für diese Entscheidung wünschen, scrollen Sie nach unten zu " Welche Begründungen sind angemessen? ".

Es gibt einige Rechtfertigungen (einige mehr oder weniger vernünftig als andere), die Forscher für die Auswahl einer metaanalytischen Synthese mit festen Effekten gegenüber zufälligen Effekten anbieten. Diese werden in einführenden Metaanalyse-Lehrbüchern wie Borenstein et al. (2009), Card (2011) und Cooper (2017).

Ohne (noch) eine dieser Rechtfertigungen zu verurteilen oder zu dulden, umfassen sie:

Begründung für die Auswahl des Festeffektmodells

1. Analytische Einfachheit : Einige Leute glauben, dass die Berechnung / Interpretation eines Zufallseffektmodells über ihr statistisches Verständnis hinausgeht, und halten sich daher an ein einfacheres Modell. Mit dem Modell mit festem Effekt muss der Forscher nur die Variabilität der Effektgrößen abschätzen, die durch Stichprobenfehler verursacht wird. Ob gut oder schlecht, dies ist eine pragmatische Praxis, die in Card (2011) ausdrücklich empfohlen wird.

2. Vorheriger Glaube an keine Variabilität / Moderatoren auf Studienebene : Wenn ein Forscher glaubt, dass alle Effektgrößen in seiner Stichprobe nur aufgrund von Stichprobenfehlern variieren - und dass es keine systematische Variabilität auf Studienebene gibt (und daher keine Moderatoren -, würde dies der Fall sein Ich denke, diese Rechtfertigung und die erstere gehen manchmal Hand in Hand, wenn ein Forscher der Meinung ist, dass die Anpassung eines Zufallseffektmodells über seine Möglichkeiten hinausgeht, und rationalisiert diese Entscheidung anschließend, indem er nachher behauptet die Tatsache, dass sie keine echte Heterogenität auf Studienebene erwarten.

3. Systematische Moderatoren wurden eingehend geprüft : Einige Forscher verwenden möglicherweise eine Analyse mit festem Effekt, nachdem sie jeden denkbaren Moderator untersucht und berücksichtigt haben. Die zugrunde liegende Begründung hierfür ist, dass, sobald ein Forscher jede denkbare / bedeutsame Quelle für Variabilität auf Studienebene berücksichtigt hat, nur noch Stichprobenfehler übrig bleiben können und daher ein Modell mit zufälligen Effekten nicht erforderlich wäre.

4. $Q$
5. Absicht, begrenzte / spezifische Schlussfolgerungen zu ziehen : Modelle mit festen Effekten eignen sich, um mit Effektmustern ausschließlich innerhalb der Effektstichprobe zu sprechen . Ein Forscher könnte es daher rechtfertigen, ein Modell mit festen Effekten anzupassen, wenn er nur mit dem spricht, was in seiner Stichprobe vor sich geht, und nicht darüber spekuliert, was in Studien passieren könnte, die von seiner Überprüfung verpasst wurden, oder in Studien, die nach seiner Überprüfung kommen.

Begründung für die Auswahl eines Zufallseffektmodells

6. Vorheriger Glaube an Variabilität / Moderatoren auf Studienebene : Wenn der Forscher im Gegensatz zu Begründung 2 (zugunsten von Modellen mit festen Effekten) davon ausgeht, dass es eine bedeutende Variabilität auf Studienebene (und damit Moderation) geben wird, würde dies der Fall sein Standardmäßig wird ein Zufallseffektmodell angegeben. Wenn Sie einen psychologischen Hintergrund haben (das tue ich), wird dies zu einer zunehmend routinemäßigen / ermutigten Standardmethode zum Nachdenken über Effektgrößen (siehe z. B. Cumming, 2014).

7. $Q$$Q$$Q$

8. $Q$

9. Absicht, breite / verallgemeinerbare Schlussfolgerungen zu ziehen : Anders als bei Modellen mit festen Effekten erlauben Modelle mit zufälligen Effekten einem Forscher, (bis zu einem gewissen Grad) über seine Stichprobe hinaus zu sprechen, und zwar in Bezug auf Muster von Effekten / Moderation, die in einer breiteren Literatur auftreten würden. Wenn dieses Inferenzniveau für einen Forscher wünschenswert ist, bevorzugen sie möglicherweise ein Zufallseffektmodell.

Konsequenzen der Angabe des falschen Modells

Obwohl dies kein expliziter Teil Ihrer Frage ist, denke ich, dass es wichtig ist, darauf hinzuweisen, warum es für den Forscher wichtig ist, bei der Auswahl zwischen Metaanalysemodellen mit festen und zufälligen Effekten "richtig zu machen": Es kommt größtenteils auf die Schätzung an Präzision und statistische Leistung .

Modelle mit festen Effekten sind statistisch leistungsfähiger, da das Risiko besteht, künstlich genaue Schätzungen zu erhalten. Modelle mit zufälligen Effekten sind statistisch weniger aussagekräftig, aber möglicherweise sinnvoller, wenn echte Heterogenität besteht. Im Rahmen von Tests von Moderatoren können Modelle mit festen Effekten das Ausmaß der Fehlervarianz unterschätzen, während Modelle mit zufälligen Effekten das Ausmaß der Fehlervarianz überschätzen können (abhängig davon, ob ihre Modellannahmen erfüllt oder verletzt werden, siehe Overton, 1998). Wiederum gibt es in der psychologischen Literatur ein zunehmendes Gefühl, dass sich das Gebiet zu stark auf Metaanalysen mit festen Effekten verlassen hat und dass wir uns daher in ein größeres Gefühl der Sicherheit / Präzision unserer Effekte getäuscht haben (siehe Schmidt et al ., 2009).

Welche Rechtfertigungen sind angemessen?

$Q$$Q$$Q$ ist wahrscheinlich unterversorgt, um eine bedeutende Heterogenität zu erkennen (oder überlastet, um geringfügige Mengen an Heterogenität zu erkennen).

Die analytische Einfachheit ( Begründung 1. ) scheint eine weitere Rechtfertigung für Modelle mit festen Effekten zu sein, deren Erfolg unwahrscheinlich ist (aus Gründen, die meiner Meinung nach offensichtlicher sind). Die Argumentation, dass alle möglichen Moderatoren erschöpft sind ( Begründung 3. ), könnte andererseits in einigen Fällen überzeugender sein, wenn der Forscher nachweisen kann, dass er eine breite Palette von Moderatorvariablen berücksichtigt / modelliert hat. Wenn sie nur ein paar Moderatoren codiert haben, wird diese Rechtfertigung wahrscheinlich als ziemlich fadenscheinig / schwach angesehen.

Die Entscheidung über ein Standardmodell mit zufälligen Effekten ( Begründung 8. ) treffen zu lassen, ist mir ungewiss. Es ist sicherlich keine aktive / prinzipielle Entscheidung, aber zusammen mit der Verlagerung des Psychologiebereichs hin zur Bevorzugung von Zufallseffektmodellen als Standard kann es sich als akzeptable (wenn auch nicht besonders nachdenkliche) Rechtfertigung erweisen.

Dies lässt Rechtfertigungen übrig, die sich auf frühere Überzeugungen hinsichtlich der Verteilung (en) der Wirkungen ( Begründung 2. und Begründung 6. ) und auf die Art der Schlussfolgerungen beziehen, für die der Forscher eine Lizenz erhalten möchte ( Begründung 5. und Begründung 9).). Die Plausibilität früherer Überzeugungen über die Verteilung von Effekten hängt weitgehend von den Merkmalen der Forschung ab, die Sie synthetisieren. Wie Cooper (2017) feststellt, kann eine Analyse mit festen Effekten durchaus sinnvoll sein, wenn Sie Effekte mechanistischer / universeller Prozesse synthetisieren, die aus weitgehend ähnlichen Kontexten / Proben und in streng kontrollierten Umgebungen gesammelt wurden. Die Synthese von Ergebnissen aus Replikationen desselben Experiments wäre ein gutes Beispiel dafür, wann diese Analysestrategie wünschenswert sein könnte (siehe Goh et al., 2016). Wenn Sie jedoch ein Feld synthetisieren, in dem sich Designs, Manipulationen, Maßnahmen, Kontexte und Stichprobenmerkmale stark unterscheiden, scheint es immer schwieriger zu werden, zu argumentieren, dass man genau studiertder gleiche Effekt in jedem Fall. Schließlich scheint die Art der Schlussfolgerungen, die man ziehen möchte, eine Frage der persönlichen Präferenz / des persönlichen Geschmacks zu sein, daher bin ich mir nicht sicher, wie man anfangen würde, für / gegen diese Rechtfertigung zu argumentieren, solange dies konzeptionell vertretbar erscheint.

Verweise

M. Borenstein, LV Hedges, JPT Higgins & HR Rothstein (2009). Einführung in die Metaanalyse . West Sussex, Großbritannien: Wiley.

Card, NA (2011). Angewandte Metaanalyse für die sozialwissenschaftliche Forschung. New York, NY: Guilford Press.

Cooper, H. (2017). Forschungssynthese und Metaanalyse: Ein schrittweiser Ansatz. Thousand Oaks, CA: Salbei.

Cumming, G. (2014). Die neue Statistik: Warum und wie. Psychological Science , 25 (1), 7 & ndash; 29.

Goh, JX, Hall, JA & Rosenthal, R. (2016). Mini-Meta-Analyse Ihrer eigenen Studien: Einige Argumente zum Warum und eine Einführung zum Wie. Kompass für Sozial- und Persönlichkeitspsychologie , 10 (10), 535-549.

Overton, RC (1998). Ein Vergleich von Modellen mit festen Effekten und gemischten Modellen (Zufallseffekte) für Metaanalysetests von Effekten mit Moderatorvariablen. Psychological Methods , 3 (3), 354 & ndash; 379.

Schmidt, FL, Oh, IS & Hayes, TL (2009). Modelle mit festen und zufälligen Effekten in der Metaanalyse: Modelleigenschaften und ein empirischer Vergleich der Unterschiede in den Ergebnissen. British Journal of Mathematical and Statistical Psychology , 62 (1), 97-128.

Sie fragen insbesondere nach Referenzen.

Die klassische Referenz hierfür ist wahrscheinlich der Artikel von Hedges und Vevea mit dem Titel " Modelle mit festen und zufälligen Effekten in der Metaanalyse ".

Wenn Sie im Gesundheitswesen arbeiten, ist das entsprechende Kapitel im Cochrane-Handbuch wahrscheinlich eine wichtige Lektüre und enthält viel Sinn. Insbesondere wird vorgeschlagen, wann eine Metaanalyse überhaupt nicht berücksichtigt werden sollte, und es wird auch klar unterschieden, was bei der Heterogenität zu tun ist, außer einfach Zufallseffektmodelle anzupassen.