Wie löse ich logistische Regression mit gewöhnlichen kleinsten Quadraten?

Ich habe selbst maschinell gelernt. Ich bin auf diesen Abschnitt der Wikipedia-Seite über logistische Regression gestoßen , in dem behauptet wird

Weil das Modell als verallgemeinertes lineares Modell (siehe unten) für 0 ausgedrückt werden kann

Es scheint mir, dass ich ein logistisches Regressions-Setup in ein lineares Regressions-Setup umwandeln kann. Aber ich kann nicht sehen, wie das geht. Ich verstehe nicht, was bedeutet. Vielleicht ist das der Trick?$0<p<1$

Die Sigmoidfunktion im logistischen Regressionsmodell schließt die Verwendung der engen algebraischen Parameterschätzung wie bei gewöhnlichen kleinsten Quadraten (OLS) aus. Stattdessen werden nichtlineare Analysemethoden wie Gradientenabstieg oder Newtonsche Methode verwendet, um die Kostenfunktion des Formulars zu minimieren :

$\text{cost}(\sigma(\Theta^\top {\bf x}),{\bf y})=\color{blue}{-{\bf y}\log(\sigma(\Theta^\top {\bf x}))}\color{red}{-(1-{\bf y})\log(1-\sigma(\Theta^\top {\bf x}))}$ , wobei

$\large \sigma(z)=\frac{1}{1+e^{-\Theta^\top{\bf x}}}$ , dh die Sigmoidfunktion. Beachten Sie, dass bei die vorhergesagte Wahrscheinlichkeit hoch sein soll und das Minuszeichen im blauen Teil der Kostenfunktion die Kosten minimiert. Wenn dagegen , kommt nur der rote Teil der Gleichung zustande, und je kleiner , desto näher sind die Kosten an Null.$y=1$$\sigma(\Theta^\top x)$$y=0$$\sigma(\Theta^\top x)$

Entsprechend können wir die Wahrscheinlichkeitsfunktion maximieren als:

$p({\bf y \vert x,\theta}) = \left(\sigma(\Theta^\top {\bf x})\right)^{\bf y}\,\left(1 - \sigma(\Theta^\top {\bf x})\right)^{1 -\bf y}$ .

Der Satz, den Sie zitieren, bezieht sich jedoch meines Erachtens auf den relativ linearen Teil der Sigmoidfunktion:

Da das Modell als verallgemeinertes lineares Modell ausgedrückt werden kann ( siehe unten ), können für gewöhnliche kleinste Quadrate ausreichen, wobei das R-Quadrat das Maß für die Anpassungsgüte im Anpassungsraum ist. Wenn oder , sind komplexere Methoden erforderlich.$0<p<1$$p=0$$1$

Das logistische Regressionsmodell lautet:

oder,

$\log \left(\text{odds(Y=1)}\right) = \log\left(\frac{p\,(Y=1)}{1\,-\,p\,(Y=1)}\right) = \theta_0 + \theta_1 x_1 + \cdots + \theta_p x_p=\Theta^\top{\bf X}\tag{*}$

Daher ist dies "nah genug" an einem OLS-Modell ( ), um als solches geeignet zu sein und die Parameter in geschlossener Form zu schätzen, vorausgesetzt, die Wahrscheinlichkeit von (denken Sie an die Bernoulli-Modellierung der Antwortvariablen in der logistischen Regression) liegt nicht nahe bei oder . Mit anderen Worten, während in Gl. * hält sich von den asymptotischen Regionen fern.$\bf y=\Theta^\top \bf X+\epsilon$$\bf y = 1$$0$$1$$\log\left(\frac{p\,(Y=1)}{1\,-\,p\,(Y=1)}\right)$

Siehe zum Beispiel diesen interessanten Eintrag in Statistical Horizons , den ich mit dem mtcarsDatensatz in R testen wollte . Die Variable für das Automatikgetriebe amist binär, sodass wir sie über Meilen pro Gallone zurückführen können mpg. Können wir vorhersagen, dass ein Automodell aufgrund seines Gasverbrauchs ein Automatikgetriebe hat?

Wenn ich weitermache und nur das Problem mit OLS-Schätzungen durchpflüge, erhalte ich eine Vorhersagegenauigkeit von nur auf diesem einzelnen Prädiktor basiert. Und rate was? Ich erhalte genau die gleiche Verwirrungsmatrix und Genauigkeitsrate, wenn ich eine logistische Regression anpasse.$75\%$

Die Sache ist, dass die Ausgabe von OLS nicht binär, sondern kontinuierlich ist und versucht, die realen binären Werte zu schätzen. Sie liegen typischerweise zwischen und , ähnlich wie Wahrscheinlichkeitswerte, obwohl sie nicht wie bei der logistischen Regression streng begrenzt sind ( Sigmoidfunktion).$\bf y$$0$$1$

Hier ist der Code:

> d = mtcars
> summary(as.factor(d$am))
 0  1 
19 13 
> fit_LR = glm(as.factor(am) ~ mpg, family = binomial, d)
> pr_LR = predict(fit, type="response")
> 
> # all.equal(pr_LR, 1 / (1 + exp( - predict(fit_LR) ) ) ) - predict() is log odds P(Y =1)
> 
> d$predict_LR = ifelse(pr_LR > 0.5, 1, 0)
> t_LR = table(d$am,d$predict_LR)
> (accuracy = (t_LR[1,1] + t_LR[2,2]) / sum(t))
[1] 0.75
> 
> fit_OLS = lm(am ~ mpg, d)
> pr_OLS = predict(fitOLS)
> d$predict_OLS = ifelse(pr_OLS > 0.5, 1, 0)
> (t_OLS = table(d$am, d$predict_OLS))

     0  1
  0 17  2
  1  6  7
> (accuracy = (t[1,1] + t[2,2]) / sum(t_OLS))
[1] 0.75

Die Frequenz von automatischen v manuellen Autos ist ziemlich ausgewogen, und das OLS-Modell ist als Perzeptron gut genug:

Sie interpretieren die von Ihnen zitierte Aussage falsch. Ein verallgemeinertes lineares Modell (normalerweise durch maximale Wahrscheinlichkeit geschätzt) ist kein Problem der kleinsten Quadrate *.

Siehe zum Beispiel die Wikipedia-Seite Verallgemeinertes lineares Modell .

Die Wahrscheinlichkeit wird jedoch häufig als Folge linearer Approximationen der kleinsten Quadrate gelöst - iterativ neu gewichtete kleinste Quadrate (ähnlich einem üblichen Ansatz für nichtlineare Probleme der kleinsten Quadrate).

In der Praxis wird daher häufig eine Folge von Problemen mit gewichteten kleinsten Quadraten gelöst, um die Parameterschätzungen zu erhalten. Diese werden erhalten, indem mit einer ungefähren Schätzung begonnen wird (es gibt einige Standardmethoden, um diese zu erhalten) und dann Arbeitsantwortwerte und Gewichte für eine lineare Annäherung an das Modell konstruiert werden, das durch gewichtete kleinste Quadrate angepasst wird, wodurch neue Schätzungen erhalten werden, die wiederum verwendet werden die Arbeitsantwortwerte und -gewichte zu aktualisieren; Dieser Zyklus wird mehrmals wiederholt.

Dies ist nicht die einzige Möglichkeit, diese Modelle anzupassen, sondern eine, die von einer Reihe von Statistikpaketen verwendet wird.

* (NB nicht zu verwechseln mit einem allgemeinen linearen Modell , dessen Schätzung als Form der kleinsten Quadrate oder mit verallgemeinerten kleinsten Quadraten gegossen werden kann)