Was berechnet die Formel y ~ x + 0 in R tatsächlich?

Was ist der statistische Unterschied zwischen einer linearen Regression in R mit der formulaMenge auf y ~ x + 0statt y ~ x? Wie interpretiere ich diese beiden unterschiedlichen Ergebnisse?

multiple-regression generalized-linear-model intercept JimBoy
quelle

Antworten:

Das Hinzufügen +0(oder -1) zu einer Modellformel (z. B. in lm()) in R unterdrückt den Achsenabschnitt. Dies wird allgemein als eine schlechte Sache angesehen; sehen:

Die geschätzte Steigung wird unterschiedlich berechnet, abhängig davon, ob der Achsenabschnitt ebenfalls geschätzt wird, nämlich:

\begin{aligned} (with intercept) & {\hat{β}}_{1} & = \frac{\sum x_{i} y_{i} - \frac{(\sum x_{i}) (\sum y_{i})}{N}}{\sum x_{i}^{2} - \frac{(\sum x_{i})^{2}}{N}} \\ (without intercept) & {\hat{β}}_{1} & = \frac{\sum x_{i} y_{i}}{\sum x_{i}^{2}} \end{aligned}

$\begin{align} \hat\beta_1 &= \frac{\sum x_iy_i - \frac{\big(\sum x_i\big)\big(\sum y_i\big)}{N}}{\sum x_i^2 - \frac{\big(\sum x_i\big)^2}{N}} \tag{with intercept} \\[15pt] \hat\beta_1 &= \frac{\sum x_iy_i}{\sum x_i^2} \tag{without intercept} \end{align}$

$0$

$R^2$

Hier sind die zugrunde liegenden Formeln:

\begin{aligned} (with intercept) & R^{2} & = 1 - \frac{\sum (y_{i} - {\hat{y}}_{i})^{2}}{\sum (y_{i} - \bar{y})^{2}} \\ (without intercept) & R^{2} & = 1 - \frac{\sum (y_{i} - {\hat{y}}_{i})^{2}}{\sum y_{i}^{2}} \end{aligned}

$\begin{align} R^2 &= 1 - \frac{\sum (y_i - \hat y_i)^2}{\sum (y_i - \bar y)^2} \tag{with intercept} \\[15pt] R^2 &= 1 - \frac{\sum (y_i - \hat y_i)^2}{\sum y_i^2} \tag{without intercept} \end{align}$

gung - Monica wieder einsetzen
quelle

Danke, Gung! Wenn ich den Intercept unterdrücke, verbessert sich plötzlich mein mehrfaches R-Quadrat. Kannst du mir hier raushelfen?

JimBoy

Es gibt keinen vereinbarten Weg, um das Quadrat r ohne einen Achsenabschnitt zu berechnen. Das Quadrat r hat nicht die übliche Interpretation. Regression ohne Abfangen zu machen ist fast immer eine SEHR schlechte Idee

Repmat

@Repmat: siehe auch stats.stackexchange.com/questions/171240/…

@ JimBoy: siehe stats.stackexchange.com/questions/171240/…

Es hängt (natürlich) vom Kontext ab, im lm(...)Befehl in R wird der Achsenabschnitt unterdrückt. Das heißt, Sie machen eine Regression durch den Ursprung.

Beachten Sie, dass die meisten Lehrbücher zum Thema Regression Ihnen sagen, dass es eine schlechte Idee ist, den Achsenabschnitt (auf einen beliebigen Wert) zu erzwingen.

Die Interpretation von x ändert sich nicht, aber der Wert (im Vergleich mit und ohne Achsenabschnitt) ändert sich manchmal sehr signifikant.

Repmat
quelle

Danke, Repmat! Ich erhalte sehr unterschiedliche Schätzungen, wenn ich den Achsenabschnitt unterdrücke, als wenn ich dies nicht tue. Darüber hinaus gewinnen alle T-Tests an Bedeutung. Weißt du warum das so ist?

JimBoy

Der Achsenabschnitt absorbiert alle Nicht-0-Mittelwertvariablen, die nicht im Modell enthalten sind. Wenn der Achsenabschnitt weg ist, muss die Varianz irgendwohin gehen. Aus diesem Grund heißt es in den meisten Büchern in der Regel, dass eine Regression ohne Unterbrechung immer falsch ist. Das heißt, OLS ist in diesem Fall immer voreingenommen und konsistent (mit wenigen Ausnahmen).

Repmat