Kann ich eine Effektgröße als unabhängige Variable in eine Meta-Regression aufnehmen?

Meine Frage ist, ob ich eine Effektgröße $X$ als abhängige Variable und eine andere Effektgröße $Y$ als unabhängige Variable in einer Meta-Regression verwenden kann.

Zum Beispiel führte ich eine Metaanalyse für die Auswirkungen von Bewegung bei Alkoholproblemen durch und fand signifikante Ergebnisse und eine hohe Heterogenität. Ich möchte eine Meta-Regression durchführen und die Effektgröße dieser Interventionen bei Angstzuständen als unabhängige Variable und die Effektgröße von Alkoholproblemen als abhängige Variable verwenden (vorausgesetzt, dass in jeder Studie sowohl Angst- als auch Alkoholprobleme bewertet wurden und ich den Effekt berechnet habe Größen wie Hedges's $g$ ).

Ergibt das Sinn für dich?

Um diese (gute) Frage verantwortungsvoll zu beantworten, müssen wahrscheinlich Metaanalysethemen behandelt werden, die über die herkömmliche Meta-Regression hinausgehen. Ich bin auf dieses Problem bei der Beratung von Kunden-Metaanalysen gestoßen, habe jedoch noch keine zufriedenstellende Lösung gefunden oder entwickelt, sodass diese Antwort nicht endgültig ist. Im Folgenden erwähne ich fünf relevante Ideen mit ausgewählten Referenzzitaten.

Zunächst werde ich zur Verdeutlichung Terminologie und Notation einführen. Ich nehme an, Sie Effekt-Größe gekoppelt haben (ES) Daten von unabhängigen Studien, wie Studien i ‚s ES schätzen y D i für Alkoholprobleme (DP) und y A i für Angst, i = 1 , 2 , ... , k sowie die bedingte Varianz / Stichprobenvarianz jeder Schätzung (dh der quadratische Standardfehler) sagen v D i und v A i . Bezeichnen wir die beiden ES-Parameter von Study i (dh True- oder Infinite-Sample-ESs) als$k$$i$$y_{Di}$$y_{Ai}$$i = 1, 2, \ldots, k$$v_{Di}$$v_{Ai}$$i$ und θ A $\theta_{Di}$$\theta_{Ai}$ . Unter der traditionellen Ansicht, dass diese ES-Parameter zwischen den Studien zufällig variieren, könnten wir ihre Mittelwerte und Varianzen zwischen den Studien als und τ 2 D = V a r ( θ D i ) für bezeichnen DP und als μ A = E ( θ A i ) und τ 2 A = V a $\mu_D = \mathrm{E}(\theta_{Di})$$\tau_D^2 = \mathrm{Var}(\theta_{Di})$$\mu_A = \mathrm{E}(\theta_{Ai})$ für Angst. In einer herkömmlichen Metaanalyse für DP und Angst getrennt (z. B. mit Präzisionen als Gewichten) können wir annehmen, dass die Stichprobenverteilung jeder ES-Schätzung bei bekannter Varianz normal ist, d. H. Y D i | θ D i ∼ N ( θ D i , v D i ) und y A i | θ A i ∼ N ( θ A i , v A i ) mit$\tau_A^2 = \mathrm{Var}(\theta_{Ai})$$y_{Di} | \theta_{Di} \sim \mathcal{N}(\theta_{Di}, v_{Di})$$y_{Ai} | \theta_{Ai} \sim \mathcal{N}(\theta_{Ai}, v_{Ai})$$v_{Di}$und $v_{Ai}$ bekannt - zumindest für große Stichproben innerhalb der Studie.

Wir müssen dieses Problem nicht unbedingt mit zufälligen Effekten betrachten, aber wir sollten zulassen, dass sowohl als auch θ A i zwischen den Studien variieren, damit Fragen zu ihrer Assoziation sinnvoll sind. Wir könnten dies möglicherweise auch in einem heterogenen Rahmen mit festen Effekten tun, wenn wir bei Verfahren und Interpretation vorsichtig sind (z. B. Bonett, 2009). Ich weiß auch nicht, ob es sich bei Ihren ES um Korrelationen, (standardisierte) mittlere Differenzen, (logarithmische) Quotenverhältnisse oder eine andere Kennzahl handelt, aber die ES-Metrik spielt für die meisten meiner nachstehenden Aussagen keine große Rolle.$\theta_{Di}$$\theta_{Ai}$

Nun zu den fünf Ideen.

1. Ökologische Verzerrung: Die Bewertung einer Assoziation zwischen Ihren beiden ES richtet sich an eine Studienebene Frage, kein Subjekt-EbeneFrage. Ich habe gesehen, dass Metaanalytiker eine positive Assoziation zwischen zwei ES wie Ihrer unangemessen wie folgt interpretieren: Probanden, bei denen die Intervention die Angst verringert, neigen dazu, die DP stärker zu verringern. Analysen von ES-Daten auf Studienebene unterstützen solche Aussagen nicht. Dies hat mit ökologischen Vorurteilen oder dem ökologischen Irrtum zu tun (z. B. Berlin et al., 2002; McIntosh, 1996). Wenn Sie im Übrigen individuelle Patienten- / Teilnehmerdaten (IPD) aus den Studien oder bestimmte zusätzliche Stichprobenschätzungen (z. B. die Korrelation jeder Gruppe zwischen Angst und DP) hatten, könnten Sie bestimmte Fragen auf Subjektebene zur Moderation oder Mediation im Zusammenhang mit der Intervention beantworten. Angst und DP, wie die Wirkung der Intervention auf die Angst-DP-Assoziation oder die indirekte Wirkung der Intervention auf die DP über Angst (z. B. Intervention) Angst → DP).$\rightarrow$$\rightarrow$

2. Meta-Regressionsprobleme: Obwohl Sie auf y A i mit einem herkömmlichen Meta-Regressionsverfahren zurückführen könnten , das y A i als feste, bekannte Kovariate / Regressor / Prädiktor behandelt, ist dies wahrscheinlich nicht ganz angemessen. Um mögliche Probleme damit zu verstehen, überlegen Sie, was wir stattdessen tun könnten, wenn es möglich wäre: Regressieren Sie θ D i auf θ A i unter Verwendung einer gewöhnlichen Regression (z. B. OLS), um abzuschätzen oder zu testen, ob oder wie die mittleren Kovarianten von θ D i mit θ variieren A i . Wenn wir jede Studie hätten$y_{Di}$$y_{Ai}$$y_{Ai}$$\theta_{Di}$$\theta_{Ai}$$\theta_{Di}$$\theta_{Ai}$$\theta_{Ai}$ , dann würde die Verwendung einer konventionellen Meta-Regression zur Regression von auf θ A i uns das geben, was wir wollen, weil das (einfache) Modell zwischen Studien θ D i = β 0 + β 1 θ A i + u ist i , wobei u i ein zufälliger Fehler ist. Die Verwendung des gleichen Ansatzes zur Regression von y D i auf y A i ignoriert jedoch zwei Probleme: y A i unterscheidet sich von $y_{Di}$$\theta_{Ai}$$\theta_{Di} = \beta_0 + \beta_1\theta_{Ai} + u_i$$u_i$$y_{Di}$$y_{Ai}$$y_{Ai}$ aufgrund eines Stichprobenfehlers (z. B. quantifiziert durch v A i ) und weistaufgrund der Korrelation zwischen Angst und DP auf Subjektebeneeine Korrelation innerhalb der Studie mit y D i auf. Ich vermute, dass eines oder beide dieser Probleme die Assoziationsschätzung zwischen θ D i und θ A i verzerren würden, beispielsweise aufgrund einer Regressionsverdünnung / Dämpfungsverzerrung.$\theta_{Ai}$$v_{Ai}$$y_{Di}$$\theta_{Di}$$\theta_{Ai}$

3. Grundrisiko: Several authors have addressed problems analogous to those in #2 for meta-analyses of an intervention's effect on a binary outcome. In such meta-analyses, there's often a concern that the treatment effect covaries with the outcome's probability or rate in an untreated population (e.g., larger effect for subjects at higher risk). It's tempting to use conventional meta-regression to predict the treatment effect from a control group's risk or event rate, since the latter represents the underlying/population/baseline risk. Several authors, however, have demonstrated limitations of this simple strategy or proposed alternative techniques (e.g., Dohoo et al., 2007; Ghidey et al., 2007; Schmid et al., 1998). Some of those techniques might be suitable for or adaptable to your situation involving two multiple-endpoint ESs.

4. Bivariate Meta-Analysis: You might treat this as a bivariate problem, where Study $i$'s pair $y_i = [y_{Di}, y_{Ai}]$ is an estimate of $\theta_i = [\theta_{Di}, \theta_{Ai}]$ with conditional covariance matrix $\mathbf{V}_i = [v_{Di}, v_{\mathrm{DA}i}; v_{\mathrm{AD}i}, v_{Ai}]$$\mu = [\mu_D, \mu_A]$$\mathbf{T} = [\tau_D^2, \tau_{DA}; \tau_{AD}, \tau_A^2]$. This could be done even if some studies contribute only $y_{Di}$ or only $y_{Ai}$ (e.g., Jackson et al., 2010; White, 2011). Besides $\tau_{DA} = \tau_{AD}$, you could also estimate other measures of the association between anxiety and DP as functions of $\mu$ and $\mathbf{T}$, such as the correlation between $\theta_{Di}$ and $\theta_{Ai}$, or the $\theta_{Di}$-on-$\theta_{Ai}$ regression slope. I'm unsure, however, how best to make inferences about any such measure of the anxiety-DP association: Do we treat both $\theta_{Di}$ and $\theta_{Ai}$ as random, or is $\theta_{Ai}$ best treated as fixed (as we might if regressing $\theta_{Di}$ on $\theta_{Ai}$), and what procedures are best for tests, confidence intervals, or other inferential results (e.g., delta method, bootstrap, profile likelihood)? Unhappily, computing the conditional covariance $v_{\mathrm{DA}i} = v_{\mathrm{AD}i}$ may be difficult, because it depends on the rarely reported within-group association between anxiety and DP; I won't address here strategies for handling this (e.g., Riley et al., 2010).

5. SEM for Meta-Analysis: Some of Mike Cheung's work on formulating meta-analytic models as structural equation models (SEMs) might offer a solution. He's proposed ways to implement a wide variety of uni- and multivariate fixed-, random-, and mixed-effects meta-analysis models using SEM software, and he provides software for this:

http://courses.nus.edu.sg/course/psycwlm/internet/metaSEM/index.html

In particular, Cheung (2009) included an example in which one ES is treated as a mediator between a study-level covariate and another ES, which is more complex than your situation of predicting one ES with another.

References

Berlin, J. A., Santanna, J., Schmid, C. H., Szczech, L. A., & Feldman, H. I. (2002). Individual patient- versus group-level data meta-regressions for the investigation of treatment effect modifiers: Ecological bias rears its ugly head. Statistics in Medicine, 21, 371-387. doi:10.1002/sim.1023

Bonett, D. G. (2009). Meta-analytic interval estimation for standardized and unstandardized mean differences. Psychological Methods, 14, 225–238. doi:10.1037/a0016619

Cheung, M. W.-L. (2009, May). Modeling multivariate effect sizes with structural equation models. In A. R. Hafdahl (Chair), Advances in meta-analysis for multivariable linear models. Invited symposium presented at the meeting of the Association for Psychological Science, San Francisco, CA.

Dohoo, I., Stryhn, H., & Sanchez, J. (2007). Evaluation of underlying risk as a source of heterogeneity in meta-analyses: A simulation study of Bayesian and frequentist implementations of three models. Preventive Veterinary Medicine, 81, 38-55. doi:10.1016/j.prevetmed.2007.04.010

Ghidey, W., Lesaffre, E., & Stijnen, T. (2007). Semi-parametric modelling of the distribution of the baseline risk in meta-analysis. Statistics in Medicine, 26, 5434-5444. doi:10.1002/sim.3066

Jackson, D., White, I. R., & Thompson, S. G. (2010). Extending DerSimonian and Laird's methodology to perform multivariate random effects meta-analyses. Statistics in Medicine, 29, 1282-1297. doi:10.1002/sim.3602

McIntosh, M. W. (1996). Controlling for an ecological parameter in meta-analyses and hierarchical models (Doctoral dissertation). Available from ProQuest Dissertations and Theses database. (UMI No. 9631547)

Riley, R. D., Thompson, J. R., & Abrams, K. R. (2008). An alternative model for bivariate random-effects meta-analysis when the within-study correlations are unknown. Biostatistics, 9, 172-186. doi:10.1093/biostatistics/kxm023

Schmid, C. H., Lau, J., McIntosh, M. W., & Cappelleri, J.C. (1998). An empirical study of the effect of the control rate as a predictor of treatment efficacy in meta-analysis of clinical trials. Statistics in Medicine, 17, 1923-1942. doi:10.1002/(SICI)1097-0258(19980915)17:17<1923::AID-SIM874>3.0.CO;2-6

White, I. R. (2011). Multivariate random-effects meta-regression: Updates to mvmeta. Stata Journal, 11, 255-270.

Built on Adam's answers, I have a few elaborations. First and most important, it is not easy to conceptualize substantive theories on how and why one effect size predicts another effect size. A multivariate meta-analysis is usually sufficient to explain the association among the effect sizes. If you are interested in hypothesizing directions among the effect sizes, you may be interested in the work by William Shadish (Shadish, 1992, 1996; Shadish & Sweeney, 1991).

As Adam has mentioned, there are some issues in applying meta-regression among the effect sizes. The main problem is that the effect sizes are conditionally distributed with known variances (and covariances). A structural equation modeling (SEM) approach may be used to address this issue (Cheung, 2008, 2013, in press). We may formulate the "true" effect sizes, $\theta_{Di}$ and $\theta_{Ai}$ in Adam's notation, as latent variables. The observed effect sizes are indicators of the "true" effect sizes:

$y_{Di} = \theta_{Di} + e_{Di}$ with $\mathrm{Var}(e_{Di})=v_{Di}$ and

$y_{Ai} = \theta_{Ai} + e_{Ai}$ with $\mathrm{Var}(e_{Ai})=v_{Ai}$.

Once we have formulated this part (the so-called measurement model), a structural model can be easily fitted among the "true" effect sizes:

$\theta_{Di} = \beta_0 + \beta_1 \theta_{Ai} + u_{Di}$,

where $\mathrm{Var}(u_{Di}) = \tau^2_{Di}$ is the residual heterogeneity of $\theta_{Di}$ and $\mathrm{Var}(\theta_{Ai})=\tau^2_{Ai}$ is the variance of $\theta_{Ai}$.

Since $y_{Di}$ and $y_{Ai}$ are conditionally correlated with a value of $v_{DAi}$, the last step is to include this conditional covariance in the model. The proposed model is:

Using the conventional SEM notation, the circles and the squares represent the latent and the observed variables. The triangle represents the intercept (or the mean).

Since the sampling variances and covariances are known in a meta-analysis, most SEM packages cannot be used to fit this model. I use the OpenMx package implemented in R to fit this model. If you want to use Mplus, you need to do some tricks to handle the known sampling variances and covariances (see Cheung, in press_a for an example).

The following example demonstrates how to fit the model with "lifecon" as the predictor and "lifesat" as the dependent variables in R. Their corresponding latent variables are called "latcon" and "latsat". The dataset is available in the metaSEM package http://courses.nus.edu.sg/course/psycwlm/Internet/metaSEM/

## Load the library with the data set  
library(metaSEM)
## OpenMx is loaded automatically after loading metaSEM
## library(OpenMx)

## Select the sample effect sizes and their sampling covariance matrix
my.df <- wvs94a[, 2:6]

## It uses the reticular action model (RAM) specification
## A matrix specifies the asymmetric paths (regression coefficients and factor loadings)
## S matrix specifies the symmetric covariances and variances
## F matrix specifies a selection matrix to select the observed variables   
lat <- mxModel("LifesatOnLifeCon",
               mxData(observed=my.df, type="raw"),
               mxMatrix(type="Full", nrow=4, ncol=4,
                        free=c(F, T, rep(F, 14)),
                        values=c(0, 0.1, 1, rep(0,4), 1, rep(0,8)),
                        labels=c(NA, "beta1", rep(NA, 14)),
                        name="A"),
               mxMatrix(type="Symm", nrow=4, ncol=4,
                        values=0, free=c(T,rep(F,3),T,rep(F,5)),
                        labels=c("Var(LifeCon)",rep(NA,3),"Var(LifeSatError)",rep(NA,2),
                                 "data.lifecon_var", "data.inter_cov", "data.lifesat_var"),                        
                        name="S"),            
               mxMatrix(type="Full", nrow=2, ncol=4,
                        values=c(rep(0,4),1,0,0,1), name="F"),
               mxMatrix(type="Full", nrow=1, ncol=4, free=c(T, T, F, F),
                        values=c(0, 0, 0, 0), labels=c("MeanLifeCon", "beta0", NA, NA), name="M"),
               mxExpectationRAM("A", "S", "F", "M", dimnames=c("latcon", "latsat", "lifecon","lifesat")),
                                mxFitFunctionML())

summary(mxRun(lat))

The output is: Summary of LifesatOnLifeCon

free parameters:
               name matrix row    col     Estimate   Std.Error
1             beta1      A   2      1  0.467619431 0.148202854
2      Var(LifeCon)      S   1      1  0.008413600 0.002537270
3 Var(LifeSatError)      S   2      2  0.002887461 0.001281026
4       MeanLifeCon      M   1 latcon  0.068825735 0.016819615
5             beta0      M   1 latsat -0.030834413 0.015565501

observed statistics:  84 
estimated parameters:  5 
degrees of freedom:  79 
-2 log likelihood:  -161.9216 
number of observations:  42 
Information Criteria: 
      |  df Penalty  |  Parameters Penalty  |  Sample-Size Adjusted
AIC:      -319.9216              -151.9216                       NA
BIC:      -457.1975              -143.2332                -158.8909
Some of your fit indices are missing.
  To get them, fit saturated and independence models, and include them with
  summary(yourModel, SaturatedLikelihood=..., IndependenceLikelihood=...). 
timestamp: 2015-01-20 18:56:09 
Wall clock time (HH:MM:SS.hh): 00:00:00.13 
optimizer:  NPSOL 
OpenMx version number: 2.0.0.4004 
Need help?  See help(mxSummary) 

As a final note, the above model is equivalent to the bivariate meta-analysis by changing the path $\beta_1$ to a double arrow $\tau^2_{DA}$ representing the covariance between the "true" effect sizes. The bivariate meta-analysis can be conducted by:

library(metaSEM)
summary( meta(y=cbind(lifesat, lifecon),
              v=cbind(lifesat_var, inter_cov, lifecon_var), 
              data=wvs94a) )

The output is:

Call:
meta(y = cbind(lifesat, lifecon), v = cbind(lifesat_var, inter_cov, 
    lifecon_var), data = wvs94a)

95% confidence intervals: z statistic approximation
Coefficients:
              Estimate   Std.Error      lbound      ubound z value  Pr(>|z|)
Intercept1  0.00134985  0.01385628 -0.02580797  0.02850766  0.0974 0.9223946
Intercept2  0.06882574  0.01681962  0.03585990  0.10179159  4.0920 4.277e-05
Tau2_1_1    0.00472726  0.00176156  0.00127465  0.00817986  2.6836 0.0072844
Tau2_2_1    0.00393437  0.00168706  0.00062779  0.00724094  2.3321 0.0196962
Tau2_2_2    0.00841361  0.00253727  0.00344064  0.01338657  3.3160 0.0009131

Intercept1    
Intercept2 ***
Tau2_1_1   ** 
Tau2_2_1   *  
Tau2_2_2   ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Q statistic on the homogeneity of effect sizes: 250.0303
Degrees of freedom of the Q statistic: 82
P value of the Q statistic: 0

Heterogeneity indices (based on the estimated Tau2):
                             Estimate
Intercept1: I2 (Q statistic)   0.6129
Intercept2: I2 (Q statistic)   0.7345

Number of studies (or clusters): 42
Number of observed statistics: 84
Number of estimated parameters: 5
Degrees of freedom: 79
-2 log likelihood: -161.9216 
OpenMx status1: 0 ("0" or "1": The optimization is considered fine.
Other values indicate problems.)

When we compare the -2 log likelihoods of these two models, they are exactly the same (-161.9216). In this case we do not gain additional insights by fitting a meta-regression on the effect sizes--a bivariate meta-analysis is already sufficient.

References

Cheung, M. W.-L. (2008). A model for integrating fixed-, random-, and mixed-effects meta-analyses into structural equation modeling. Psychological Methods, 13(3), 182–202. doi:10.1037/a0013163

Cheung, M. W.-L. (2013). Multivariate meta-analysis as structural equation models. Structural Equation Modeling: A Multidisciplinary Journal, 20(3), 429–454. doi:10.1080/10705511.2013.797827

Cheung, M. W.-L. (2014). Modeling dependent effect sizes with three-level meta-analyses: A structural equation modeling approach. Psychological Methods, 19(2), 211-29. doi: 10.1037/a0032968.

Shadish, W. R. (1992). Do family and marital psychotherapies change what people do? A meta-analysis of behavioral outcomes. In T. D. Cook, H. Cooper, D. S. Cordray, H. Hartmann, L. V. Hedges, R. J. Light, T. A. Louis, & F. Mosteller (Eds), Meta-analysis for explanation: A casebook (129-208). New York: Russell Sage Foundation.

Shadish, W. R. (1996). Meta-analysis and the exploration of causal mediating processes: A primer of examples, methods, and issues. Psychological Methods, 1, 47-65.

Shadish, W. R., & Sweeney, R. (1991). Mediators and moderators in meta-analysis: There's a reason we don't let dodo birds tell us which psychotherapies should have prizes. Journal of Consulting and Clinical Psychology, 59, 883-893.