Definition und Abgrenzung des Regressionsmodells

Eine peinlich einfache Frage - aber es scheint, dass sie bei Cross Validated noch nicht gestellt wurde:

1. Was ist die Definition eines Regressionsmodells?

Auch eine Support-Frage,

2. Was ist kein Regressionsmodell?

In Bezug auf Letzteres interessieren mich knifflige Beispiele, bei denen die Antwort nicht sofort offensichtlich ist. Beispielsweise,

• Was ist mit latenten Variablenmodellen (z. B. ARIMA oder GARCH)?

Ich würde sagen, dass "Regressionsmodell" eine Art Meta-Konzept ist, in dem Sinne, dass Sie keine Definition von "Regressionsmodell" finden, sondern konkretere Konzepte wie "lineare Regression", "nichtlineare Regression", "robuste Regression" und so weiter. Genauso wie in der Mathematik definieren wir normalerweise nicht "Zahl", sondern "natürliche Zahl", "ganze Zahlen", "reelle Zahl", "p-adische Zahl" und so weiter, und wenn jemand das einschließen möchte Quaternionen unter Zahlen so sei es! Es ist nicht wirklich wichtig, was zählt, ist, welche Definitionen von dem Buch / der Zeitung verwendet werden, das / die Sie gerade lesen.

Definitionen sind Werkzeuge , und der Essentialismus, der darüber diskutiert, was das Wesen von ... ist, was ein Wort wirklich bedeutet , lohnt sich selten.

Was unterscheidet ein "Regressionsmodell" von anderen Arten statistischer Modelle? Meistens gibt es eine Antwortvariable , die Sie als von einem Satz von Prädiktorvariablen beeinflusst (oder bestimmt) modellieren möchten . Wir sind nicht daran interessiert, die andere Richtung zu beeinflussen, und wir sind nicht an Beziehungen zwischen den Prädiktorvariablen interessiert. Meist nehmen wir die Prädiktorvariablen als gegeben und behandeln sie als Konstanten im Modell, nicht als Zufallsvariablen.

Die oben erwähnte Beziehung kann linear oder nichtlinear sein, parametrisch oder nichtparametrisch angegeben werden und so weiter.

Um von anderen Modellen abzugrenzen, werfen wir einen Blick auf einige andere Wörter, die häufig verwendet werden, um etwas anderes für "Regressionsmodelle" zu bezeichnen, wie "Fehler in Variablen", wenn wir die Möglichkeit von Messfehlern in den Prädiktorvariablen akzeptieren. Das könnte durchaus in meiner Beschreibung des "Regressionsmodells" enthalten sein, wird aber oft als alternatives Modell angesehen.

Was gemeint ist, kann sich auch zwischen den Feldern unterscheiden. Siehe Was ist der Unterschied zwischen der Konditionierung von Regressoren und der Behandlung als feststehend?

Um es zu wiederholen: Was zählt, ist die Definition, die von den Autoren verwendet wird, die Sie gerade lesen, und keine Metaphysik darüber, was es "wirklich ist".

Zwei nette Antworten wurden bereits gegeben, aber ich möchte meine zwei Cent hinzufügen.

$Y$$X_1,\dots,X_k$$Y$

$f$$\mu$$\mu$$L_1$$\mu$

$Y$

Einige Gedanken basierend auf der Literatur:

F. Hayashi in Kapitel 1 sein klassischen Diplom - Lehrbuches „Ökonometrie“ (2000) heißt es, dass die folgenden Annahmen umfassen das klassische lineare Regressionsmodell:

1. Linearität
2. Strikte Exogenität
3. Keine Multikollinearität
4. Sphärische Fehlervarianz
5. "Feste" Regressoren

Wooldridge in Kapitel 2 seines klassischen Einführungslehrbuchs zur Ökonometrie "Introductory Econometrics: A Modern Approach" (2012) besagt, dass die folgende Gleichung das einfache lineare Regressionsmodell definiert :

Greene stellt in Kapitel 2 seines populären ökonometrischen Lehrbuchs "Econometric Analysis" (2011) fest

Das klassische lineare Regressionsmodell besteht aus einer Reihe von Annahmen darüber, wie ein Datensatz durch einen zugrunde liegenden "Datenerzeugungsprozess" erzeugt wird.

und gibt anschließend eine Liste von Annahmen ähnlich der von Hayashi.

Eine für den letzten Aufzählungspunkt des OP relevante Kuriosität: Bollerslev "Generalized Autoregressive Conditional Heterosedasticity" (1986) enthält eine Phrase "das GARCH-Regressionsmodell" im Titel von Abschnitt 5 und auch im ersten Satz dieses Abschnitts. Daher machte es dem Vater des GARCH-Modells nichts aus, GARCH als Regressionsmodell zu bezeichnen.