Rücktransformation von Regressionskoeffizienten

Ich mache eine lineare Regression mit einer transformierten abhängigen Variablen. Die folgende Transformation wurde durchgeführt, damit die Annahme der Normalität der Residuen gelten würde. Die nicht transformierte abhängige Variable war negativ verzerrt, und die folgende Transformation hat sie nahezu normalisiert:

Y = \sqrt{50 - Y_{o r i g}}

$Y=\sqrt{50-Y_{orig}}$

wobei $Y_{orig}$ ist die abhängige Variable auf dem Originalmaßstab.

Ich halte es für sinnvoll, die $\beta$ Koeffizienten zu transformieren , um zur ursprünglichen Skala zurückzukehren. Unter Verwendung der folgenden Regressionsgleichung

Y = \sqrt{50 - Y_{o r i g}} = α + β \cdot X

$Y=\sqrt{50-Y_{orig}}=\alpha+\beta \cdot X$

und durch Festsetzung von haben wir $X=0$

α = \sqrt{50 - Y_{o r i g}} = \sqrt{50 - α_{o r i g}}

$\alpha=\sqrt{50-Y_{orig}}=\sqrt{50-\alpha_{orig}}$

Und schlussendlich,

α_{o r i g} = 50 - α^{2}

$\alpha_{orig}=50-\alpha^2$

Mit der gleichen Logik fand ich

β_{o r i g} = α (α - 2 β) + β^{2} + α_{o r i g} - 50

$\beta_{orig}=\alpha\space(\alpha-2\beta)+\beta^2+\alpha_{orig}-50$

Jetzt funktionieren die Dinge für ein Modell mit 1 oder 2 Prädiktoren sehr gut. Die rücktransformierten Koeffizienten ähneln den ursprünglichen, nur jetzt kann ich den Standardfehlern vertrauen. Das Problem tritt auf, wenn ein Interaktionsbegriff wie z

Y = α + X_{1} β_{X_{1}} + X_{2} β_{X_{2}} + X_{1} X_{2} β_{X_{1} X_{2}}

$Y=\alpha+X_1\beta_{X_1}+X_2\beta_{X_2}+X_1X_2\beta_{X_1X_2}$

Dann sind die Rücktransformationen für die nicht so nah an denen der ursprünglichen Skala, und ich bin mir nicht sicher, warum das passiert. Ich bin mir auch nicht sicher, ob die gefundene Formel für die Rücktransformation eines Beta-Koeffizienten wie für das 3. verwendbar ist $\beta$ $\beta$ (für den Interaktionsterm) verwendet werden kann. Bevor ich in die verrückte Algebra ging, dachte ich, ich würde um Rat fragen ...

regression data-transformation Dominic Comtois
quelle

Wie definieren Sie

und

α_{o r i g}

$\alpha_{orig}$

β_{o r i g}

$\beta_{orig}$

Mark999

Wie der Wert von Alpha und Beta auf den ursprünglichen Skalen

Dominic Comtois

Aber was heißt das?

Mark999

Ich würde etwas riskieren wie: Die Schätzungen, die wir erhalten würden, waren die ursprünglichen Daten, die für die lineare Regression geeignet sind.

Dominic Comtois

Das scheint mir ein sinnloses Konzept zu sein. Ich stimme Gungs Antwort zu.

Mark999

Antworten:

Ein Problem ist, dass Sie geschrieben haben

Y = α + β \cdot X

$Y=α+β⋅X$

Das ist ein einfaches deterministisches (dh nicht zufälliges) Modell. In diesem Fall Sie könnten die Koeffizienten auf der ursprünglichen Skala Transformation zurück, da es nur eine Frage von einem paar einfachen Algebra ist. In der üblichen Regression haben Sie jedoch nur ; Sie haben den Fehlerbegriff aus Ihrem Modell entfernt. Wenn Transformation von zurück zu nicht-linear ist, können Sie ein Problem haben , da $E(Y|X)=α+β⋅X$ $Y$ $Y_{orig}$ $E\big(f(X)\big)≠f\big(E(X)\big)$ im Allgemeinen. Ich denke, das hat möglicherweise mit der Diskrepanz zu tun, die Sie sehen.

Bearbeiten: Beachten Sie, dass Sie bei einer linearen Transformation eine Rücktransformation durchführen können, um Schätzungen der Koeffizienten auf der ursprünglichen Skala zu erhalten, da die Erwartung linear ist.

Makro
quelle

+1 für die Erklärung, warum wir die Betas nicht zurücktransformieren können.

gung - Wiedereinsetzung von Monica

$\hat{y}_i$

gung - Wiedereinsetzung von Monica
quelle

Was ist mit der Tatsache zu tun, dass die rücktransformierten Koeffizienten denjenigen sehr nahe kommen, die beim Modellieren der nicht transformierten Variablen erhalten werden? Lässt das keine Rückschlüsse auf den ursprünglichen Maßstab zu?

Dominic Comtois

Ich weiß es nicht genau. Es kann von vielen Dingen abhängen. Meine erste Vermutung ist, dass Sie mit Ihren ersten Betas Glück haben, aber dann geht Ihnen das Glück aus. Ich muss mit @ mark999 übereinstimmen, dass "die Schätzungen, die wir erhalten würden, die ursprünglichen Daten waren, die für die lineare Regression geeignet sind", eigentlich keinen Sinn ergeben; Ich wünschte, es wäre so und es scheint auf den ersten Blick rot zu werden, aber leider nicht. Und es werden keine Rückschlüsse auf den ursprünglichen Maßstab lizenziert.

gung - Wiedereinsetzung von Monica

@gung für nichtlineare Transformationen (z. B. Box Cox): Ich kann angepasste Werte sowie Vorhersageintervalle zurücktransformieren, aber weder Betas noch Koeffizientenintervalle für die Betas transformieren. Gibt es eine zusätzliche Einschränkung, die ich beachten sollte? Übrigens, dies ist ein sehr interessantes Thema, wo kann ich ein besseres Verständnis bekommen?

mugen

@ Mugen, es ist schwer zu sagen, was Sie sonst noch wissen sollten. Vielleicht sollte man bedenken, dass die Rücktransformation von y-hat den bedingten Median ergibt, wohingegen der nicht rücktransformierte (bleckende) y-hat das bedingte Mittel ist. Davon abgesehen sollte dieses Material in einem guten Regressionslehrbuch behandelt werden.

gung - Wiedereinsetzung von Monica

@ Mugen, du bist willkommen. Fühlen Sie sich frei, weitere Fragen über die normalen Mechanismen zu stellen (Klicken ASK QUESTION); Es wird mehr Ressourcen für die Beantwortung geben, Sie werden die Aufmerksamkeit von mehr CVern erhalten und die Informationen werden für die Nachwelt besser zugänglich sein.

gung - Wiedereinsetzung von Monica