Konvertieren standardisierter Betas zurück in ursprüngliche Variablen

13

Mir ist klar, dass dies wahrscheinlich eine sehr einfache Frage ist, aber nach der Suche kann ich die gesuchte Antwort nicht finden.

Ich habe ein Problem, bei dem ich die Variablen standardisieren muss, die die (Ridge-Regression) ausführen, um die Ridge-Schätzungen der Betas zu berechnen.

Ich muss diese dann wieder in die ursprüngliche Variablenskala konvertieren.

Aber wie mache ich das?

Ich habe eine Formel für den bivariaten Fall gefunden

β=β^SxSy.

Dies wurde in D. Gujarati, Basic Econometrics , Seite 175, Formel (6.3.8) angegeben.

Wo die Schätzer von dem Regressions Run auf den standardisierten Variablen sind und β ist der gleiche Schätzer zurück in der ursprünglichen Skala umgewandelt, S y die Probe Standardabweichung des regressand ist, und S xββ^SySx ist die Probe Standardabweichung.

Leider behandelt das Buch das analoge Ergebnis für die multiple Regression nicht.

Ich bin mir auch nicht sicher, ob ich den bivariaten Fall verstehe? Einfache algebraische Manipulation gibt die Formel für β in der ursprünglichen Skala:β^

β^=βSySx

Es scheint seltsam für mich , dass der β , der auf Variablen berechnet wurden , die durch bereits entleert S x , entleert werden , wird von S x wieder zurück umgewandelt werden? (Und warum werden die Mittelwerte nicht wieder addiert?)β^SxSx

Kann jemand bitte erklären, wie dies für einen multivariaten Fall idealerweise mit einer Ableitung zu tun ist, damit ich das Ergebnis verstehen kann?

Baz
quelle

Antworten:

25

Für das Regressionsmodell unter Verwendung der standardisierten Variablen nehmen wir die folgende Form für die Regressionslinie an

E[Y]=β0+j=1kβjzj,

zjxjx¯jSj

zj=xjx¯jSj

Wenn wir die Regression mit den standardisierten Regressoren durchführen, erhalten wir die angepasste Regressionslinie:

Y^=β^0+j=1kβ^jzj

Wir möchten nun die Regressionskoeffizienten für die nicht standardisierten Prädiktoren finden. Wir haben

Y^=β^0+j=1kβ^j(xjx¯jSj)

Neu arrangiert, kann dieser Ausdruck geschrieben werden als

Y^=(β^0j=1kβ^jx¯jSj)+j=1k(β^jSj)xj

β^0j=1kβ^jx¯jSj. The regression coefficient of the j-th predictor is β^jSj.

In the presented case, I have assumed that only the predictors had been standardized. If one also standardizes the response variable, transforming the covariate coefficients back to the original scale is done by using the formula from the reference you gave. We have:

E[Y]y^Sy=β0+j=1kβjzj

Carrying out the regression, we get the fitted regression equation

Y^scaled=Y^unscaledy¯Sy=β^0+j=1kβ^j(xjx¯jSj),

where the fitted values are on the scale of the standardized response. To unscale them and recover the coefficient estimates for the untransformed model, we multiply the equation by Sy and bring the sample mean of the y to the other side:

Y^unscaled=β^0Sy+y¯+j=1kβ^j(SySj)(xjx¯j).

The intercept corresponding to the model in which neither the response nor the predictors have been standardized is consequently given by β^0Sy+y¯j=1kβ^jSySjx¯j, while the covariate coefficients for the model of interest can be obtained by multiplying each coefficient with Sy/Sj.

Philipp Burckhardt
quelle