„Kleinste Quadrate“ und „Lineare Regression“ sind Synonyme?

12

Was ist der Unterschied zwischen kleinsten Quadraten und linearer Regression? Ist es dasselbe?

regression least-squares terminology bbadyalina
quelle
4
Ich würde sagen, dass gewöhnliche kleinste Quadrate eine Schätzmethode innerhalb der breiteren Kategorie der linearen Regression sind . Es ist jedoch möglich, dass einige Autoren "kleinste Quadrate" und "lineare Regression" verwenden, als ob sie austauschbar wären.
Matthew Gunn
1
Wenn Sie gewöhnliche kleinste Quadrate machen , würde ich diesen Begriff verwenden. Es ist weniger zweideutig.
Matthew Gunn
1
Siehe auch, was ein Regressionsmodell ist .
Richard Hardy

Antworten:

22

Die lineare Regression nimmt eine lineare Beziehung zwischen der unabhängigen und der abhängigen Variablen an. Es sagt Ihnen nicht, wie das Modell montiert ist. Der kleinste Platzbedarf ist einfach eine der Möglichkeiten. Weitere Methoden zum Trainieren eines linearen Modells finden Sie im Kommentar.

Nichtlineare kleinste Quadrate sind häufig ( https://en.wikipedia.org/wiki/Non-linear_least_squares ). Der beliebte Levenberg-Marquardt-Algorithmus löst beispielsweise Folgendes:

β^=argminβ⁡S(β)≡argminβ⁡∑i=1m[yi−f(xi,β)]2

Es ist eine Optimierung der kleinsten Quadrate, aber das Modell ist nicht linear.

Sie sind nicht dasselbe .

Hallo Welt
quelle
13

Zusätzlich zur richtigen Antwort von @Student T möchte ich betonen, dass die kleinsten Quadrate eine potenzielle Verlustfunktion für ein Optimierungsproblem sind, während die lineare Regression ein Optimierungsproblem ist.

Bei einem bestimmten Datensatz wird die lineare Regression verwendet, um die bestmögliche lineare Funktion zu finden, die den Zusammenhang zwischen den Variablen erklärt.

In diesem Fall wird das "Beste" durch eine Verlustfunktion bestimmt, die die vorhergesagten Werte einer linearen Funktion mit den tatsächlichen Werten im Datensatz vergleicht. Least Squares ist eine mögliche Verlustfunktion.

Der Wikipedia-Artikel der kleinsten Quadrate zeigt auch Bilder auf der rechten Seite, die die Verwendung der kleinsten Quadrate für andere Probleme als die lineare Regression zeigen, wie z.

  • konisch passend
  • passende quadratische Funktion

Das folgende GIF aus dem Wikipedia-Artikel zeigt verschiedene Polynomfunktionen, die an einen Datensatz mit kleinsten Quadraten angepasst sind. Nur einer von ihnen ist linear (Polynom von 1). Dies ist aus dem Wikipedia-Artikel zum Thema entnommen .

Bildbeschreibung hier eingeben

Nikolas Rieble
quelle
2
Wir können argumentieren, dass die nichtlinearen Beispiele in der Animation tatsächlich noch linear in den Parametern sind.
Firebug
2
Richtig, aber die Modellbeziehung zwischen dem Ziel und der Eingabevariablen ist nicht linear. Würden Sie die Anpassung noch als "lineare Regression" bezeichnen? Ich würde nicht.
Nikolas Rieble
4
Wir sollten zwischen "linearen kleinsten Quadraten" und "linearer Regression" unterscheiden, da sich das Adjektiv "linear" in beiden auf verschiedene Dinge bezieht. Ersteres bezieht sich auf eine Anpassung, die in den Parametern linear ist, und Letzteres bezieht sich auf die Anpassung an ein Modell, das eine lineare Funktion der unabhängigen Variablen ist.
JM ist kein Statistiker
3
@JM Viele Quellen behaupten, dass "linear" in der "linearen" Regression "linear in den Parametern" bedeutet, eher "linear in den IVs". Der WIkipedia-Artikel über lineare Regression ist ein Beispiel. Hier ist noch einer und noch einer . Viele Statistiktexte tun dasselbe. Ich würde behaupten, es ist eine Konvention.
Glen_b -Reinstate Monica
1
@ Glen, wahrscheinlich eine spätere Entwicklung als das, was ich lese (ich bin ein alter Hase in diesem Bereich); Sie beschränkten sich auf die Anpassung des Modellsy=mx+b.
JM ist kein Statistiker