Wann entspricht die LSQ-Linie (Least Square Regression) der LAD-Linie (Least Absolute Deviation)?

8

Ich habe die folgende Frage zur Hand.

Angenommen, repräsentieren eine Reihe von bi-variablen Beobachtungen auf so dassUnter welchen Bedingungen ist die Regressionslinie für das kleinste Quadrat von auf identisch mit der Linie für die geringste absolute Abweichung?(x1,y1),(x2,y2),,(x10,y10)(X.,Y.)x2=x3==x10x1.Y.X.

Ich weiß, dass wir und so finden wollen, dass ; Die LSQ-Methode ergibt und damit . Kann mir jemand helfen, weiterzumachen?α^β^Y.=α^+β^X.

β^=ich=110(xich- -x¯)yichich=110(xich- -x¯)xich
α^
Qwerty
quelle
1
Intuitiv gibt es einen trivialen Fall und einen nicht trivialen Fall, in dem Punktepaare eine Linie mit gleichen Fehlern stabilisieren.
Firebug

Antworten:

9

Einige Tipps, die Ihnen helfen sollen, einen Einblick zu gewinnen

  1. Erstellen oder generieren Sie einige Daten, die den Bedingungen in der Frage entsprechen. Versuchenx1=0,y1=0 und x2..x10=1 (Auswahl einiger Werte für yich, ich=2,...,10). Wo verlaufen die Linien relativ zum ersten Punkt?

  2. Beginnen Sie nun wie oben, aber versuchen Sie es mit der Platzierung yich, ich=2,...,10bei sagen 1,2,3,4,5,6,7,8,9. Wohin gehen die Linien?

    Auftragung von (0,0) und neun gleichmäßig verteilten Punkten bei x = 1

  3. Jetzt platzieren yich, ich=2,...,10bei sagen 1,2,3,4,5,6,7,8,99. Wohin gehen die Linien?

    vorheriger Plot, aber mit dem höchsten Punkt auf y = 99 verschoben

    Was ist besonders / interessant an den angepassten Werten für die beiden Zeilen bei x=1?

    (Wenn es nicht klar ist, versuchen Sie es mit anderen Werten für y10.)

    Gleiche Daten zeigen angepasste Linien

  4. Können Sie beweisen, dass dies allgemeiner der Fall ist?


Dies bringt uns letztendlich zu einer sichtbaren Frage, die sich darauf bezieht, wann Mittel und Mediane im univariaten Fall gleich sind. (Es gibt eine einfache, offensichtliche Bedingung, die ausreicht, aber nicht notwendig ist.)

Es gibt eine Reihe von Beiträgen vor Ort, die den anderen Fall diskutieren. Es gibt einige interessante Beispiele hier

Glen_b -State Monica
quelle