Wie kann man und in die Regression einbeziehen und ob man sie zentriert?

9

Ich möchte den Term und sein Quadrat (Prädiktorvariablen) in eine Regression einbeziehen, da ich davon ausgehe, dass niedrige Werte von einen positiven Effekt auf die abhängige Variable und hohe Werte einen negativen Effekt haben. Das sollte den Effekt der höheren Werte erfassen. Ich erwarte daher, dass der Koeffizient von positiv und der Koeffizient von negativ sein wird. Neben füge ich auch andere Prädiktorvariablen hinzu. $x$ $x^2$ $x$ $x^2$ $x$ $x^2$ $x$

Ich habe in einigen Beiträgen hier gelesen, dass es in diesem Fall eine gute Idee ist, die Variablen zu zentrieren, um Multikollinearität zu vermeiden. Wann sollten Sie bei der Durchführung einer multiplen Regression Ihre Prädiktorvariablen zentrieren und wann sollten Sie sie standardisieren?

Sollte ich beide Variablen separat zentrieren (im Mittelwert) oder sollte ich nur und dann das Quadrat nehmen oder sollte ich nur und das ursprüngliche einschließen ? $x$ $x^2$ $x$
Ist es ein Problem, wenn eine Zählvariable ist? $x$

Um zu vermeiden, dass eine Zählvariable ist, habe ich darüber nachgedacht, es durch eine theoretisch definierte Fläche zu teilen, zum Beispiel 5 Quadratkilometer. Dies sollte einer Punktdichteberechnung etwas ähnlich sein. $x$

Ich befürchte jedoch, dass in dieser Situation meine anfängliche Annahme über das Vorzeichen der Koeffizienten nicht mehr gelten würde, wie wenn und $x=2$ $x²=4$

$x= 2 / 5 \text{ km}^2$ = $0.4 \text{ km}^2$

aber $x^2$ wäre dann kleiner, weil $x^2= (2/5)^2= 0.16$ .

regression multiple-regression polynomial centering Peter
quelle

1

Ihre Regressionssoftware kümmert sich automatisch um numerische Probleme. Insbesondere ist es sehr wahrscheinlich, dass Ihre Daten intern zentriert und standardisiert werden. Wie Sie Ihre Fragen zur Zentrierung beantworten können, hängt davon ab, wie Sie die Koeffizienten interpretieren möchten.

whuber

4

Ihre Frage besteht in der Tat aus mehreren Unterfragen, die ich nach bestem Wissen und Gewissen beantworten möchte.

Wie kann man die Abhängigkeit von niedrigen und hohen Werten von einer Regression unterscheiden?

Wenn man und ist dies eine Möglichkeit, aber sind Sie sicher, dass Ihr Test schlüssig ist? Werden Sie in der Lage sein, für alle möglichen Ergebnisse der Regression etwas Nützliches zu schließen? Ich denke, dass es hilfreich sein kann, die Frage im Voraus klar zu stellen, und ähnliche und verwandte Fragen zu stellen, kann ebenfalls hilfreich sein. Sie können beispielsweise einen Schwellenwert von berücksichtigen, für den die Regressionssteigungen unterschiedlich sind. Dies kann mithilfe von Moderatorvariablen erfolgen . Wenn die verschiedenen Steigungen (unter Auferlegung des gleichen Abschnitts) kompatibel sind, haben Sie keinen Unterschied, andernfalls haben Sie sich ein klares Argument für ihren Unterschied geliefert. $x$ $x^2$ $x$

Wann sollten Sie zentrieren und standardisieren?

Ich denke, diese Frage sollte nicht mit der ersten Frage und dem ersten Test gemischt werden, und ich befürchte, dass eine vorherige Zentrierung um oder die Ergebnisse beeinflussen könnte. Ich würde raten, zumindest in einer ersten Phase nicht zu zentrieren. Denken Sie daran, dass Sie wahrscheinlich nicht an Multikollinearität sterben werden. Viele Autoren argumentieren, dass dies nur der Arbeit mit einer kleineren Stichprobengröße entspricht ( hier und hier ). $x$ $x^2$

Ändert die Transformation der diskreten Zählvariablen in eine (kontinuierliche) Gleitkommavariable die Interpretation der Ergebnisse?

Ja, aber das hängt stark von den ersten beiden Punkten ab. Ich würde Ihnen daher empfehlen, jeweils eine Sache anzusprechen. Ich sehe keinen Grund, warum die Regression ohne diese Transformation nicht funktionieren würde, daher würde ich Ihnen raten, sie vorerst zu ignorieren. Beachten Sie auch, dass Sie durch Teilen durch ein gemeinsames Element die Skala ändern, bei der , aber es gibt völlig andere Sichtweisen, wie ich oben geschrieben habe, in denen dieser Schwellenwert expliziter betrachtet wird. $x^2 = x$

pedrofigueira
quelle

Vielen Dank für Ihre Antwort, insbesondere für die Links !!!

Peter

Es war mir eine Freude zu helfen. =)

pedrofigueira

4

Im Allgemeinen könnte die Zentrierung helfen, die Multikollinearität zu verringern, aber "Sie werden wahrscheinlich nicht an Multikollinearität sterben" (siehe die Antwort von predrofigueira).

Am wichtigsten ist, dass häufig eine Zentrierung erforderlich ist, um den Abschnitt sinnvoll zu gestalten. In dem einfachen Modell ist der Achsenabschnitt als das erwartete Ergebnis für . Wenn ein Wert von Null nicht aussagekräftig ist, ist dies auch nicht der Fall. Es ist oft nützlich, die Variable um ihren Mittelwert zu zentrieren. In diesem Fall hat der Prädiktor die Form und der ist das erwartete Ergebnis für ein Subjekt, dessen Wert auf gleich dem Mittelwert . $y_i=\alpha+\beta x_i+\varepsilon$ $x=0$ $x$ $x$ $(x_i-\bar{x})$ $\alpha$ $x_i$ $\bar{x}$

In solchen Fällen Sie müssen Zentrieren und dann Platz. Sie können und getrennt , da Sie das Ergebnis auf eine "neue" Variable müssen Sie diese neue Variable . Was könnte Zentrierung bedeuten? $x$ $x$ $x^2$ $(x_i-\bar{x})$ $x^2$

Sie können eine Zählvariable zentrieren, wenn ihr Mittelwert sinnvoll ist , aber Sie können sie einfach skalieren . Wenn beispielsweise und "2" eine Basislinie sein könnten, können Sie 2 subtrahieren: . Der Achsenabschnitt wird zum erwarteten Ergebnis für ein Subjekt, dessen Wert auf gleich "2" ist, einem Referenzwert. $x=1,2,3,4,5$ $(x_i-2)=-1,0,1,2,3$ $x_i$

Was das Teilen betrifft, kein Problem: Ihre geschätzten Koeffizienten wären größer! Gelman und Hill , §4.1, geben ein Beispiel:

\begin{aligned} earnings & = - 61000 + 1300 \cdot height (in inches) + error \\ earnings & = - 61000 + 51 \cdot height (in millimeters) + error \\ earnings & = - 61000 + 81000000 \cdot height (in miles) + error \end{aligned}

$\begin{align} \text{earnings}&=-61000+1300\cdot\text{height (in inches)}+\text{error} \\ \text{earnings}&=-61000+51\cdot\text{height (in millimeters)}+\text{error}\\ \text{earnings}&=-61000+81000000\cdot\text{height (in miles)}+\text{error} \end{align}$

Ein Zoll ist Millimeter, also ist . Ein Zoll ist Emiles, so ist . Diese drei Gleichungen sind jedoch völlig gleichwertig. $25.4$ $51$ $1300/25.4$ $1.6e-5$ $81000000$ $1300/1.6e-5$

Sergio
quelle

verwandt .

Henrik

Danke für deine Antwort Sergio. Es hat mir wirklich geholfen. Leider kann ich nur eine Antwort als meine akzeptierte Antwort markieren.

Peter

Bitte. Und keine Sorge ;-)

Sergio

1

Ich gehe davon aus, dass niedrige Werte von x sich positiv auf die abhängige Variable auswirken und hohe Werte sich negativ auswirken.

Während ich die Behandlung der Zentrierung und Interpretation von Koeffizienten durch andere schätze, ist das, was Sie hier beschrieben haben, einfach ein linearer Effekt. Mit anderen Worten, was Sie beschrieben haben, bedeutet nicht, dass das Quadrat von x getestet werden muss .

rolando2
quelle

Wenn , ist meiner Ansicht nach der (teilweise) Effekt von auf (oder besser auf ) . Solche Effekte sind konstant, sie hängen nicht von der Ebene von . Wenn das Modell , dann ist die Wirkung des Teils ist und hängt von der Höhe der . Dies kann auch bei anderen Modellen der Fall sein, z. B. bei linearen Spline-Modellen, jedoch nicht bei einem einfachen linearen Modell (1. Grad). Liege ich falsch?

y = β_{0} + β_{1} x_{1} + β_{2} x_{2} + ε

$y=\beta_0+\beta_1 x_1+\beta_2 x_2+\varepsilon$

x_{i}

$x_i$

y

$y$

E [y ∣ x]

$E[y\mid \mathbf{x}]$

\partial E [y ∣ x] / \partial x_{i} = β_{i}

$\partial E[y\mid \mathbf{x}]/\partial x_i=\beta_i$

x_{i}

$x_i$

y = β_{0} + β_{1} x_{1} + β_{2} x_{2} + β_{3} x_{2}^{2} + ε

$y=\beta_0+\beta_1 x_1+\beta_2 x_2+\beta_3x_2^2+\varepsilon$

x_{2}

$x_2$

β_{2} + 2 β_{3} x_{2}

$\beta_2+2\beta_3x_2$

x_{2}

$x_2$

Sergio

@ Rolando2: Ich bin nicht sicher, ob wir über die Samte-Sache sprechen. Wenn ich nur die reguläre Prädiktorvariable einbeziehe, erhalte ich einen geschätzten Koeffizienten für diesen Prädiktor, der entweder positiv oder negativ ist. Basierend auf dem Koeffizienten kann ich sagen, dass durch Hinzufügen einer Einheit zu x y um einen bestimmten Betrag zunimmt oder abnimmt. Aber ich kann auf diese Weise nicht herausfinden, ob kleine Werte tatsächlich zu einer Zunahme von y führen, während höhere Werte (ab einem bestimmten unbekannten Punkt) zu einer Abnahme von y führen.

Peter

@Peter - Ich verstehe und schlage vor, dass Sie den Satz "Ich nehme an" Ihrer Frage so bearbeiten, dass er lautet: "Ich gehe davon aus, dass in einem Bereich von x höhere Werte von x einen positiven Effekt auf die abhängige Variable haben, während in einem anderen Bereich höhere Werte wirken sich negativ aus. "

Rolando2

Wie kann man und in die Regression einbeziehen und ob man sie zentriert?

Antworten: