Ist OLS der häufigere Ansatz zur linearen Regression?

In diesem Wikipedia-Artikel gibt es diesen Satz:

Dies ist ein häufiger Ansatz

Bezieht sich das auf OLS?

Ist es wirklich eher ein "als" das "? Was sind andere häufigere Ansätze? Soweit ich weiß, müssen wir minimieren [ $\varepsilon_1, \varepsilon_2, ..., \varepsilon_n$ ] [ $\varepsilon_1, \varepsilon_2, ..., \varepsilon_n$ ] '.

Bearbeiten: Dies ist in Bezug auf meine vorherige Frage . Tim erwähnte 'Nun, um die logistische Regression auf Bayes'sche Weise abzuschätzen ...'

Wie würde man es also häufig machen? OLS? Abgerufene Statistikklasse mit linearer Regression. Ich denke, es gibt auch MLE.

regression multiple-regression linear-model linear frequentist BCLC
quelle

Es ist definitiv 'a'. OLS sind wie ein frequentistischen ML Schätzung unter Verwendung dort das besondere Verteilungsmodell in der Diskussion nähern würde, aber es gibt nichts sakrosankt über das jeweilige Modell (noch in der Tat etwas , das sagt ein frequentistischen hat ML Schätzung zu verwenden).

Glen_b -Reinstate Monica

Christiansen stellt fest, dass die kleinsten Quadrate kein statistisches, sondern ein geometrisches Verfahren sind. ( Flugzeugantworten auf komplexe Fragen , 4. Ausgabe)

Klarinettist

Antworten:

OLS an sich impliziert nicht, welche Art von Inferenz (falls vorhanden) durchgeführt wird. Ich würde sagen, es ist nur eine beschreibende Statistik.

Wenn Sie ein generatives Modell (Stichprobenverteilung) annehmen und versuchen, auf die OLS-Koeffizienten zu schließen, können Sie häufig Inferenz oder Bayes'sche Inferenz durchführen.

JohnRos
quelle

OLS ist eine lediglich beschreibende Statistik? Ist das nicht ein bisschen langwierig?

Paul

@ Paul: Kommt darauf an, was du mit OLS meinst. Die Berechnung des Minimierers des quadratischen Fehlerverlusts in der linearen Modellklasse ist eine annahmefreie Übung in der Optimierung und / oder Matrixalgebra. Die Inferenzphase (unter der Annahme eines linearen generativen Modells, zentrierter und unabhängiger Fehlerterme, ...) ist der Definition von OLS (für viele, aber nicht alle Autoren) nicht inhärent.

JohnRos

@Paul: Es scheint, dass einige Wähler dieser Ansicht zustimmen. Andererseits erinnere ich mich vage daran, dass ich in der Vergangenheit auf dieser Seite darüber diskutiert habe. Die vorgestellte Ansicht war, dass keine Berechnung ohne ein angenommenes Modell durchgeführt wird, so dass alle deskriptiven Statistiken implizite Schlussfolgerungen haben. Unnötig zu sagen, ich bin anderer Meinung.

JohnRos

Ich bin einer der Aufsteiger :) Diese Ansicht ist ein erworbener Geschmack, aber einen, der es wert ist, erworben zu werden, und anscheinend zumindest bei den Nutzern dieser Website beliebt.

Paul

@ Paul: Hier war die Debatte, die wir zu der Zeit hatten: stats.stackexchange.com/questions/32782/when-do-i-need-a-model

JohnRos

In der Volkssprache der Statistik wird OLS tendenziell als häufig auftretender Ansatz zur Parameterschätzung identifiziert, da es nicht explizit eine vorherige Verteilung der zu schätzenden Parameter beinhaltet. Genau genommen ist OLS jedoch nur eine mathematische Operation, deren Ergebnis sowohl häufig als auch bayesianisch interpretiert wird.

Wenn aus häufiger Sicht die üblichen linearen Modellannahmen gelten, sind die OLS-Parameterschätzungen gleich den wahren Parameterwerten zuzüglich eines Fehlers bekannter Verteilung, der aus der Zufälligkeit der Stichprobe abgeleitet wird. Dies ermöglicht es uns, Informationen über die Schätzungen (z. B. p-Werte und Konfidenzintervalle) zu extrahieren, die theoretische Garantien haben, die die Wahrscheinlichkeit bestimmter Arten von Fehlern begrenzen, die auf zufällige Stichprobenvariationen zurückzuführen sind.

Aus Bayes'scher Sicht liefert OLS, wenn die üblichen linearen Modellannahmen gelten, die maximale a posteriori (MAP) -Parameterschätzung unter einem einheitlichen Prior. Die posteriore Verteilung ist ein multivariater Gaußscher mit einem Peak bei der MAP-Schätzung, und wir können den posterioren verwenden, um unsere vorherigen Parameter zu aktualisieren oder glaubwürdige Intervalle zu berechnen, wenn wir dies wünschen.

Im Allgemeinen ist die Unterscheidung zwischen Frequentisten und Bayesianern mit so viel volkstümlicher Konnotation und Assoziation behaftet, dass sich die meisten statistischen Methoden für die Praktizierenden wie die eine oder andere fühlen. Wenn diese Unterscheidung jedoch eine objektive Bedeutung hat, geht es darum, wie Sie Wahrscheinlichkeiten interpretieren, und Ihre Wahl der Parameterschätzungsmethode sagt nicht unbedingt etwas darüber aus, wie Sie Wahrscheinlichkeiten interpretieren. Nur Ihre Interpretation der Parameterschätzungen kann identifizieren, auf welcher Seite der Unterscheidung Sie (derzeit) arbeiten.

Paul
quelle

Der Text von:

"Die gewöhnliche Lösung der kleinsten Quadrate ... und y ist der n-Vektor der Spalte"

bezeichnet den frequentistischen Ansatz zur linearen Regression und wird allgemein als "OLS" bezeichnet. In der Bayes'schen Regression gibt es einen Prior für die Parameter. Das häufig verwendete Normal vor den Betas hat auch eine häufigere Interpretation: Gratregression.

JQVeenstra
quelle

Danke JQVeenstra. Sie sind also nicht einverstanden mit Paul und John Ros?

BCLC

Nicht wirklich. Wir beantworten in gewisser Weise verschiedene Fragen. Sie beantworten den Titel dieser Frage: Ist OLS notwendigerweise ein frequentistischer Ansatz? Ich sage, die Interpretation des Wikipedia-Artikels spricht definitiv aus einer frequentistischen Perspektive. Paul weist darauf hin, dass OLS eine Bayes'sche Regression ist, jedoch mit einem (nicht standardmäßigen) einheitlichen Prior. Welches ist vollkommen richtig. Der Artikel präsentiert es jedoch nicht so.

JQVeenstra