Was ist der Unterschied zwischen linearer Perzeptronregression und linearer LS-Regression?

Kürzlich hat ein Projekt, an dem ich beteiligt bin, ein lineares Perzeptron für die multiple (21 Prädiktor-) Regression verwendet. Es wurde stochastische GD verwendet. Wie unterscheidet sich dies von der linearen OLS-Regression?

regression machine-learning Simon Kuang
quelle

Die PerceptronKlasse, mit der Sie verknüpfen, ist eher für einen Klassifizierer (binäre Ausgabe) als für einen Regressor (kontinuierliche Ausgabe). Ist das der tatsächliche Code, den Sie verwendet haben? Wenn ja, ist das der Unterschied. :)

Dougal

@ Dougal, es zählt immer noch zu den GLMs: scikit-learn.org/stable/…

Simon Kuang

@Dougal: Angenommen, Sie hatten einen (G) LM, den Sie mit L2 optimiert haben SGDRegressor. Wäre dies gleichbedeutend mit einer linearen Regression?

Simon Kuang

Ja, einige GLMs sind Klassifikatoren. Wenn Sie verwendet SGDRegressor(loss='squared_loss', penalty='none')haben, ist das OLS.

Dougal

Antworten:

Die PerceptronKlasse von scikit-learn (entspricht SGDClassifier(loss="perceptron", penalty=None, learning_rate="constant", eta0=1)) verwendet die folgende Zielfunktion: In diesem Fall . Wenn das richtige Vorzeichen hat, entsteht kein Verlust; Andernfalls ergibt sich ein linearer Verlust. Insbesondere das Perzeptron verwendet eine feste Lernrate, was ebenfalls zu einer gewissen Verrücktheit bei der Optimierung führen kann.

\frac{1}{N} \sum_{i = 1}^{N} max (0, - y_{i} w^{T} x_{i}) .

$\frac{1}{N} \sum_{i=1}^N \max(0, - y_i w^T x_i).$

y_{i} \in {- 1, 1}

$y_i \in \{-1, 1\}$

w^{T} x_{i}

$w^T x_i$

Die Regression der kleinsten Quadrate verwendet dagegen Hier kann beliebig real sein; Sie können ihm Klassifizierungsziele in wenn Sie möchten, aber es wird Ihnen kein sehr gutes Modell geben. Sie können dies mit optimieren, wenn Sie möchten.

\frac{1}{N} \sum_{i = 1}^{N} (y_{i} - w^{T} x_{i})^{2} .

$\frac{1}{N} \sum_{i=1}^N (y_i - w^T x_i)^2.$

y_{i}

$y_i$

{- 1, 1}

$\{-1, 1\}$ SGDRegressor(loss="squared_loss", penalty=None)

Die beiden definieren grundlegend unterschiedliche Modelle: Das Perzeptron sagt eine binäre Klassenbezeichnung mit voraus, während die lineare Regression mit einen reellen Wert vorhersagt . Diese Antwort spricht darüber, warum der Versuch, ein Klassifizierungsproblem mit einem Regressionsalgorithmus zu lösen, problematisch sein kann. $\mathrm{sign}(w^T x_i)$ $w^T x_i$

Dougal
quelle