Wie kann man den Unterschied zwischen linearen und nichtlinearen Regressionsmodellen erkennen?

Ich habe den folgenden Link zur nichtlinearen Regression SAS Non Linear gelesen . Mein Verständnis beim Lesen des ersten Abschnitts "Nichtlineare Regression vs. Lineare Regression" war, dass die folgende Gleichung tatsächlich eine lineare Regression ist. Ist das richtig? Wenn ja warum?

$$y = b_1x^3 + b_2x^2 + b_3x + c$$

Muss ich auch verstehen, dass Multikollinearität bei nichtlinearer Regression kein Problem ist? Ich weiß, dass Multikollinearität ein Problem bei der linearen Regression sein kann. Wenn das obige Modell tatsächlich eine lineare Regression ist, würde es Multikollinearität geben.

Es gibt (mindestens) drei Sinne, in denen eine Regression als "linear" betrachtet werden kann. Beginnen wir zur Unterscheidung mit einem äußerst allgemeinen Regressionsmodell

$$Y = f(X,\theta,\varepsilon).$$

Um die Diskussion einfach zu halten, nehmen Sie die unabhängigen Variablen , die festgelegt und genau gemessen werden sollen (anstelle von Zufallsvariablen). Sie modellieren jeweils n Beobachtungen von p Attributen, wodurch der n- Vektor der Antworten Y entsteht . Üblicherweise wird X als eine n × p- Matrix und Y als ein Spalten- n- Vektor dargestellt. Der (endliche q- Vektor) θ umfasst die Parameter . ε ist eine vektorielle Zufallsvariable. Es hat normalerweise $X$$n$$p$$n$$Y$$X$$n\times p$$Y$$n$$q$$\theta$$\varepsilon$$n$Komponenten, hat aber manchmal weniger. Die Funktion hat einen Vektorwert (wobei n Komponenten mit Y übereinstimmen ) und wird normalerweise in den letzten beiden Argumenten ( θ und ε ) als stetig angenommen .$f$$n$$Y$$\theta$$\varepsilon$

Das archetypische Beispiel für das Anpassen einer Linie an -Daten ist der Fall, in dem X ein Vektor von Zahlen ( x i$(x,y)$$X$ - die x-Werte; Y ist ein Parallelvektor von n Zahlen ( y i ) ; θ = ( α , β ) gibt den Achsenabschnitt α und die Steigung β an ; und ε = ( ε 1 , ε 2 , … , ε n$(x_i,\,i=1,2,\ldots,n)$$Y$$n$$(y_i)$$\theta = (\alpha,\beta)$$\alpha$$\beta$$\varepsilon = (\varepsilon_1,\varepsilon_2,\ldots,\varepsilon_n)$ist ein Vektor von "Zufallsfehlern", deren Komponenten unabhängig sind (und von denen normalerweise angenommen wird, dass sie identische, aber unbekannte Verteilungen des Mittelwerts Null haben). In der vorhergehenden Notation

$$y_i = \alpha + \beta x_i +\varepsilon_i = f(X,\theta,\varepsilon)_i$$

mit .$\theta = (\alpha,\beta)$

Die Regressionsfunktion kann in jedem (oder allen) ihrer drei Argumente linear sein:

• "Lineare Regression oder ein" lineares Modell "bedeutet normalerweise, dass als Funktion der Parameter & thgr ; linear ist . Die SAS-Bedeutung von" nichtlineare Regression " ist in diesem Sinne, mit der zusätzlichen Annahme, dass f in seinem zweiten Argument differenzierbar ist (die Parameter) Diese Annahme erleichtert das Finden von Lösungen.$f$ $\theta$$f$

• Eine "lineare Beziehung zwischen und Y " bedeutet, dass f als Funktion von X linear ist .$X$$Y$$f$$X$

• Ein Modell hat additive Fehler, wenn in ε linear ist . In solchen Fällen wird immer von E ( ε ) = 0 ausgegangen . (Andernfalls wäre es nicht richtig, ε als "Fehler" oder "Abweichungen" von "korrekten" Werten zu betrachten.)$f$$\varepsilon$$\mathbb{E}(\varepsilon) = 0$$\varepsilon$

Jede mögliche Kombination dieser Eigenschaften kann vorkommen und ist nützlich. Lassen Sie uns die Möglichkeiten überblicken.

1. Ein lineares Modell einer linearen Beziehung mit additiven Fehlern. Dies ist eine gewöhnliche (multiple) Regression, die bereits oben gezeigt und allgemeiner als geschrieben wurde

   $$Y = X\theta + \varepsilon.$$

   wurde, falls erforderlich, durch Anschließen einer Spalte von Konstanten vergrößert, und θ ist ein p- Vektor.$X$$\theta$$p$

2. Ein lineares Modell einer nichtlinearen Beziehung mit additiven Fehlern. Dies kann als multiple Regression formuliert werden, indem die Spalten von mit nichtlinearen Funktionen von X selbst erweitert werden. Zum Beispiel,$X$$X$

   $$y_i = \alpha + \beta x_i^2 + \varepsilon$$

   ist von dieser Form. Es ist linear in ; es hat additive Fehler; und es ist linear in den Werten ( 1 , x 2 i ) , obwohl x 2 i eine nichtlineare Funktion von x i ist .$\theta=(\alpha,\beta)$$(1,x_i^2)$$x_i^2$$x_i$

3. Ein lineares Modell einer linearen Beziehung mit nichtadditiven Fehlern. Ein Beispiel ist multiplikativer Fehler,

   $$y_i = (\alpha + \beta x_i)\varepsilon_i.$$

   (In solchen Fällen sind die als „multiplikative Fehler“ interpretiert werden kann , wenn die Lage von ε i ist 1 jedoch der eigentliche Sinn der Lage ist nicht unbedingt die Erwartung. E ( ε i ) mehr: es könnte den Median sein oder die Beispiel: geometrisches Mittel. Ein ähnlicher Kommentar zu Standortannahmen gilt sinngemäß auch für alle anderen nichtadditiven Fehlerkontexte.)$\varepsilon_i$$\varepsilon_i$$1$$\mathbb{E}(\varepsilon_i)$

4. Ein lineares Modell einer nichtlinearen Beziehung mit nichtadditiven Fehlern. Zum Beispiel ,

   $$y_i = (\alpha + \beta x_i^2)\varepsilon_i.$$

5. Ein nichtlineares Modell einer linearen Beziehung mit additiven Fehlern. Ein nichtlineares Modell umfasst Kombinationen seiner Parameter, die nicht nur nichtlinear sind, sondern auch nicht durch erneutes Ausdrücken der Parameter linearisiert werden können.

   • Betrachten Sie als Nicht-Beispiel

     $$y_i = \alpha\beta + \beta^2 x_i + \varepsilon_i.$$

     Durch die Definition von und β ' = β 2 , und die Einschränkung β ' ≥ 0 , kann dieses Modell neu geschrieben werden ,$\alpha^\prime = \alpha\beta$$\beta^\prime=\beta^2$$\beta^\prime \ge 0$

     $$y_i = \alpha^\prime + \beta^\prime x_i + \varepsilon_i,$$

     Darstellung als lineares Modell (einer linearen Beziehung mit additiven Fehlern).

   • Als Beispiel betrachten

     $$y_i = \alpha + \alpha^2 x_i + \varepsilon_i.$$

     Es ist unmöglich , in Abhängigkeit von α einen neuen Parameter zu finden , der dies als Funktion von α ' linearisiert (während er auch in x i linear bleibt ).$\alpha^\prime$$\alpha$$\alpha^\prime$$x_i$

6. Ein nichtlineares Modell einer nichtlinearen Beziehung mit additiven Fehlern.

   $$y_i = \alpha + \alpha^2 x_i^2 + \varepsilon_i.$$

7. A nonlinear model of a linear relationship with nonadditive errors.

   $$y_i = (\alpha + \alpha^2 x_i)\varepsilon_i.$$

8. A nonlinear model of a nonlinear relationship with nonadditive errors.

   $$y_i = (\alpha + \alpha^2 x_i^2)\varepsilon_i.$$

---

Although these exhibit eight distinct forms of regression, they do not constitute a classification system because some forms can be converted into others. A standard example is the conversion of a linear model with nonadditive errors (assumed to have positive support)

$$y_i = (\alpha + \beta x_i)\varepsilon_i$$

$$\log(y_i) = \mu_i + \log(\alpha + \beta x_i) + (\log(\varepsilon_i) - \mu_i)$$

$\mu_i = \mathbb{E}\left(\log(\varepsilon_i)\right)$ has been removed from the error terms (to ensure they have zero means, as required) and incorporated into the other terms (where its value will need to be estimated). Indeed, one major reason to re-express the dependent variable $Y$ is to create a model with additive errors. Re-expression can also linearize $Y$ as a function of either (or both) of the parameters and explanatory variables.

---

Collinearity

Collinearity (of the column vectors in $X$) can be an issue in any form of regression. The key to understanding this is to recognize that collinearity leads to difficulties in estimating the parameters. Abstractly and quite generally, compare two models $Y = f(X,\theta,\varepsilon)$ and $Y=f(X^\prime,\theta,\varepsilon^\prime)$ where $X^\prime$ is $X$ with one column slightly changed. If this induces enormous changes in the estimates $\hat\theta$ and $\hat\theta^\prime$, then obviously we have a problem. One way in which this problem can arise is in a linear model, linear in $X$ (that is, types (1) or (5) above), where the components of $\theta$ are in one-to-one correspondence with the columns of $X$. When one column is a non-trivial linear combination of the others, the estimate of its corresponding parameter can be any real number at all. That is an extreme example of such sensitivity.

From this point of view it should be clear that collinearity is a potential problem for linear models of nonlinear relationships (regardless of the additivity of the errors) and that this generalized concept of collinearity is potentially a problem in any regression model. When you have redundant variables, you will have problems identifying some parameters.

You should start right now by making a difference between reality and the model you're using to describe it

The equation you just mentionned is a polynomial equation (x^power) ie. non-linear ... but you can still model it using a generlized linear model (using a link function) or polynomail regression since the parameters are linear (b1, b2, b3, c)

hope that helped, it actually is a bit sketchy : reality/model

A model is linear if it is linear in parameters or can be transformed to be linear in parameters (linearizable). Linear models can model linear or non-linear relationships. Let's expand on each of these.

A model is linear in parameters if it can be written as the sum of terms, where each term is either a constant or a parameter multiplying a predictor (X_i):

Note that this definition is very narrow. Only the models meeting this definition are linear. Every other model, is non-linear.

There are a two types of linear models that are confused for non-linear models:

1. Linear models of non-linear relationships

For example, the model below models a non-linear relationship (because the derivative of Y with respect to X₁ is a function of X₁). By creating a new variable W₁=X₁², and re-writing the equation with W₁ replacing X₁², we have an equation that satisfies the definition of a linear model.

2. Models that aren't immediately linear but can become linear after a transformation (linearizable). Below are 2 examples of linearizable models:

Example 1:

This model may appear to be non-linear because it does not meet the definition of a model that is linear in parameters, however it can be transformed into a linear model hence it is linearizable/transformably linear, and is thus considered to be a linear model. The following transformations would linearize it. Start by taking the natural logarithm of both sides to obtain:

then make the following substitutions:

to obtain the linear model below:

Example 2:

This model may appear to be non-linear because it does not meet the definition of a model that is linear in parameters, however it can be transformed into a linear model hence it is linearizable/transformably linear, and is thus considered to be a linear model. The following transformations would linearize it. Start by taking the reciprocal of both sides to obtain:

then make the following substitutions:

to obtain the linear model below:

Any model that is not linear (not even through linearization) is non-linear. Think of it this way: If a model does not meet the definition of a linear model then it is a non-linear model, unless it can be proven to be linearizable, at which point it earns the right to be called a linear model.

Whuber's answer above as well as the Glen_b's answer in this link will add more color to my answer. Nonlinear vs. generalized linear model: How do you refer to logistic, Poisson, etc. regression?