Warum ist es wichtig, zwischen „linearer“ und „nichtlinearer“ Regression zu unterscheiden?

Welche Bedeutung hat die Unterscheidung zwischen linearen und nichtlinearen Modellen? Die Frage Nichtlineares vs. verallgemeinertes lineares Modell: Wie verweisen Sie auf logistische, Poisson usw. Regression? und ihre Antwort war eine äußerst hilfreiche Klärung der Linearität / Nichtlinearität verallgemeinerter linearer Modelle. Es scheint von entscheidender Bedeutung zu sein, lineare von nichtlinearen Modellen zu unterscheiden, aber mir ist nicht klar, warum? Betrachten Sie beispielsweise die folgenden Regressionsmodelle:

Beide Modelle 1 und 2 sind linear, und die Lösungen für in geschlossener Form vor, die mit einem Standard-OLS-Schätzer leicht gefunden werden können. Nicht so für die Modelle 3 und 4, die nichtlinear sind, da (einige) Derivate von wrt immer noch Funktionen von .$\beta$$E[Y\mid X]$$\beta$$\beta$

Eine einfache Lösung für die Schätzung von in Modell 3 besteht darin, das Modell zu linearisieren, indem Sie , mit einem linearen Modell schätzen und dann berechnen .$\beta_1$$\gamma = \beta_1^2$$\gamma$$\beta_1 = \sqrt{\gamma}$

Um die Parameter in Modell 4 abzuschätzen, können wir annehmen, dass einer Binomialverteilung (Mitglied der Exponentialfamilie) folgt, und unter Verwendung der Tatsache, dass die logistische Form des Modells die kanonische Verknüpfung ist, die rhs des Modells linearisieren. Dies war der entscheidende Beitrag von Nelder und Wedderburn .$Y$

Aber warum ist diese Nichtlinearität überhaupt ein Problem? Warum kann man nicht einfach einen iterativen Algorithmus verwenden, um Modell 3 zu lösen, ohne mit der Quadratwurzelfunktion zu linearisieren, oder Modell 4, ohne GLMs aufzurufen? Ich vermute, dass Statistiker vor der Verbreitung von Rechenleistung versuchten, alles zu linearisieren. Wenn dies zutrifft, sind die durch die Nichtlinearität verursachten "Probleme" möglicherweise ein Überbleibsel der Vergangenheit? Sind die durch nichtlineare Modelle verursachten Komplikationen rein rechnerisch oder gibt es einige andere theoretische Probleme, die es schwieriger machen, nichtlineare Modelle an Daten anzupassen als lineare Modelle?

Ich sehe zwei Hauptunterschiede:

• Linearität macht es einfach und robust. Zum Beispiel ist (lineares) OLS ein unverzerrter Schätzer bei unbekannter Störungsverteilung. Im Allgemeinen gilt dies nicht für GLM- und nichtlineare Modelle. OLS ist auch für verschiedene Fehlerstrukturmodelle (Zufallseffekte, Clustering usw.) geeignet, bei denen in nichtlinearen Modellen normalerweise die genaue Verteilung dieser Terme vorausgesetzt werden muss.

• Es ist einfach zu lösen: nur ein paar Matrixmultiplikationen + 1 Inverse. Dies bedeutet, dass Sie es fast immer lösen können, auch in Fällen, in denen die Zielfunktion fast flach ist (Multikollinearität). In solchen problematischen Fällen konvergieren die iterativen Methoden möglicherweise nicht (was in gewissem Sinne eine gute Sache ist). Einfaches Lösen kann oder kann heutzutage nicht weniger ein Problem sein. Computer werden schneller, aber die Daten werden größer. Haben Sie jemals versucht, eine logit-Regression für 1G-Beobachtungen durchzuführen?

Außerdem sind lineare Modelle leichter zu interpretieren. In linearen Modellen sind Randeffekte gleich Koeffizienten und unabhängig von X-Werten (obwohl polynomielle Terme diese Einfachheit zunichte machen).

Viele Modelle in der Biologie (und anderen Bereichen) sind nichtlinear, daher sind sie am besten für die nichtlineare Regression geeignet. Die Mathematik ist natürlich ganz anders. Aus Sicht des Datenanalysten gibt es jedoch nur einen wichtigen Unterschied.

Die nichtlineare Regression erfordert anfängliche Schätzwerte für jeden Parameter. Wenn diese anfänglichen Schätzungen weit davon entfernt sind, kann das nichtlineare Regressionsprogramm auf ein falsches Minimum konvergieren und unbrauchbare oder irreführende Ergebnisse liefern.

Erstens werde ich das Wort "Regression" durch das Wort "Modell" ersetzen. Ich denke, dass man für beide Wörter wirklich fragt, welche relevanten Gleichungen das Modell definieren und welche Hypothese die Werte der abhängigen Variablen und die von der Gleichung / dem Modell vorhergesagten Werte in Beziehung setzen. Ich denke, dass der Begriff "Modell" mehr Standard ist. Wenn Sie damit einverstanden sind, lesen Sie weiter.

$\phi_1, \ldots, \phi_n$$\phi_1, \ldots, \phi_n$$\phi_i = x^i$$\epsilon_i = y_i - \sum a_{ij}x^j$ist Gauß. Imho, ich denke, Wikipedia hat eine sehr vernünftige Erklärung für allgemeine lineare Modelle. Ich denke, dies ist der Schlüsselsatz: "Das GLM verallgemeinert die lineare Regression, indem es ermöglicht, dass das lineare Modell über eine Verknüpfungsfunktion mit der Antwortvariablen in Beziehung gesetzt wird und die Größe der Varianz jeder Messung von ihrem vorhergesagten Wert abhängt. " Ein glm erlaubt also einen allgemeineren Fehlerbegriff. Dies ermöglicht eine größere Flexibilität bei der Modellierung. Der Preis ? Das richtige Modell zu berechnen ist schwieriger. Eine einfache Methode zur Berechnung der Koeffizienten gibt es nicht mehr. Die Koeffizienten einer linearen Regression können durch Minimieren einer quadratischen Funktion ermittelt werden, die ein eindeutiges Minimum aufweist. Mit den Worten von Borat, für einen Hauch, nicht so sehr. Man muss das mle berechnen,