Warum ist die logistische Regression ein linearer Klassifikator?

Wie kann die logistische Regression als linearer Klassifikator betrachtet werden, da wir die logistische Funktion verwenden, um eine lineare Kombination der Eingabe in eine nicht lineare Ausgabe umzuwandeln?

Lineare Regression ist wie ein neuronales Netzwerk ohne verborgene Schicht. Warum werden neuronale Netzwerke als nichtlineare Klassifikatoren betrachtet und logistische Regression ist linear?

logistic classification neural-networks Jack Twain
quelle

Die Umwandlung "einer linearen Kombination der Eingabe in eine nichtlineare Ausgabe" ist ein grundlegender Teil der Definition eines linearen Klassifikators . Das reduziert diese Frage auf den zweiten Teil, der zeigt, dass neuronale Netze im Allgemeinen nicht als lineare Klassifikatoren ausgedrückt werden können.

Whuber

@whuber: Wie erklären Sie die Tatsache, dass ein logistisches Regressionsmodell polynomielle Prädiktorvariablen (z. B.

) verwenden kann, um eine nichtlineare Entscheidungsgrenze zu erzeugen? Ist das noch ein linearer Klassifikator?

w_{1} \cdot x_{1}^{2} + w_{2} \cdot x_{2}^{3}

$w_1 \cdot x_1^2 + w_2 \cdot x_2^3$

Stackoverflowuser2010

@Stack Das Konzept des "linearen Klassifikators" scheint aus dem Konzept eines linearen Modells zu stammen. "Linearität" in einem Modell kann verschiedene Formen annehmen, wie unter stats.stackexchange.com/a/148713 beschrieben . Wenn wir die Wikipedia-Charakterisierung von linearen Klassifikatoren akzeptieren , würde Ihr Polynombeispiel im Hinblick auf die angegebenen "Merkmale"

und

als nichtlinear angesehen, im Hinblick auf die Merkmale

und

jedoch als linear . Diese Unterscheidung bietet eine nützliche Möglichkeit, die Eigenschaften der Linearität auszunutzen.

x_{1}

$x_1$

x_{2}

$x_2$

x_{1}^{2}

$x_1^2$

x_{2}^{3}

$x_2^3$

Whuber

Ich bin immer noch ein bisschen verwirrt über die Frage, ob die Entscheidungsgrenze eines logistischen Klassifikators linear ist. Ich habe die Andrew Ng Maschine folgte natürlich auf Coursera Lernen und er erwähnt die folgende: ! [Image Beschreibung hier eingeben (] i.stack.imgur.com/gHxfr.png ) Also eigentlich ist es mir scheint niemand da ist es Antwort hängt von der Linearität oder Nichtlinearität der Entscheidungsgrenze ab, die von der Hypothesenfunktion abhängt, die als Htheta (X) definiert ist, wobei X die Eingabe und Theta die Variablen unseres Problems sind. Macht es für dich Sinn?

Brokensword

Antworten:

\hat{p} = \frac{1}{1 + e^{- \hat{μ}}}, where \hat{μ} = \hat{θ} \cdot x .

$\hat{p} = \frac{1}{1 + e^{-\hat{\mu}}}, \text{ where } \hat{\mu} = \hat{\theta} \cdot x.$

\hat{μ}

$\hat{\mu}$

x

$x$

x

$x$

$\{x:\hat{p} = 0.5\}$ $\hat{\theta} \cdot x = 0$

Stefan Wager
quelle

x

$x$

θ

$\theta$

dann auch durch deine erklärung. Können wir sagen, dass die Vorhersage des neuronalen Netzwerks eine lineare Funktion der Aktivierungen der letzten verborgenen Schicht ist?

Jack Twain

\hat{θ} \cdot x

$\hat{\theta} \cdot x$

\hat{θ}

$\hat{\theta}$

x

$x$

x

$x$

x

$x$

x

$x$

x

$x$

@ Pegah Ich weiß, das ist alt, aber: Logistische Regression hat eine lineare Entscheidungsgrenze. Das Ergebnis selbst ist natürlich nicht linear, sondern logistisch. Abhängig davon, auf welche Seite der Linie ein Punkt fällt, nähert sich die Gesamtleistung 0 oder 1 (erreicht diese jedoch nie). Und um Stefan Wagners Antwort hinzuzufügen: Der letzte Satz ist nicht ganz richtig, ein neuronales Netzwerk ist nicht linear, wenn es nicht lineare Aktivierungen oder Ausgabefunktionen enthält. Es kann aber auch linear sein (falls keine Nichtlinearitäten hinzugefügt wurden).

Chris

Wie Stefan Wagner feststellt, ist die Entscheidungsgrenze für einen logistischen Klassifikator linear. (Für den Klassifikator müssen die Eingaben linear trennbar sein.) Ich wollte die Mathematik hierfür erweitern, falls dies nicht offensichtlich ist.

\frac{1}{1 + e^{- θ \cdot x}} = 0.5

${1 \over {1 + e^{-{\theta \cdot x}}}} = 0.5$

1 = e^{- θ \cdot x}

${1 = e^{-{\theta \cdot x}}}$

und, das natürliche Protokoll von beiden Seiten nehmend,

0 = - θ \cdot x = - \sum_{i = 0}^{n} θ_{i} x_{i}

$0 = -\theta \cdot x = -\sum\limits_{i=0}^{n} \theta_i x_i$

Die Entscheidungsgrenze ist also linear.

Der Grund, warum die Entscheidungsgrenze für ein neuronales Netzwerk nicht linear ist, liegt darin, dass es zwei Schichten von Sigmoidfunktionen im neuronalen Netzwerk gibt: eine in jedem der Ausgangsknoten plus eine zusätzliche Sigmoidfunktion zum Kombinieren und Schwellwerten der Ergebnisse jedes Ausgangsknotens.

Phil Bogle
quelle

Tatsächlich können Sie eine nichtlineare Entscheidungsgrenze erhalten, wenn nur eine Ebene aktiviert ist. Sehen Sie sich das Standardbeispiel eines XOR mit einem 2-Layer-Feed-Forward-Netzwerk an.

James Hirschorn

$C_{0}$ $C_{1}$

P (C_{0} | x) = \frac{P (x | C_{0}) P (C_{0})}{P (x)}

$P(C_{0}|x) = \frac{P(x|C_{0})P(C_{0})}{P(x)}$

P (C_{0} | x) = \frac{P (x | C_{0}) P (C_{0})}{P (x | C_{0}) P (C_{0}) + P (x | C_{1}) P (C_{1})} = \frac{1}{1 + \exp (- \log \frac{P (x | C_{0})}{P (x | C_{1})} - \log \frac{P (C_{0})}{P (C_{1})})}

$P(C_{0}|x) = \frac{P(x|C_{0})P(C_{0})}{P(x|C_{0})P(C_{0})+P(x|C_{1})P(C_{1})} = \frac{1}{1+ \exp\left(-\log\frac{P(x|C_{0})}{P(x|C_{1})}-\log \frac{P(C_{0})}{P(C_{1})}\right)}$

1 + e^{ω x}

$1+e^{\omega x}$

P (x | C_{i}) = \exp (\frac{θ_{i} x - b (θ_{i})}{a (ϕ)} + c (x, ϕ))

$P(x|C_{i}) = \exp \left(\frac{\theta_{i} x -b(\theta_{i})}{a(\phi)}+c(x,\phi)\right)$

\log \frac{P (x | C_{0})}{P (x | C_{1})} = [(θ_{0} - θ_{1}) x - b (θ_{0}) + b (θ_{1})] / a (ϕ)

$\log\frac{P(x|C_{0})}{P(x|C_{1})} = \left[ (\theta_{0}-\theta_{1})x - b(\theta_{0})+b(\theta_{1}) \right]/a(\phi)$

Beachten Sie, dass wir davon ausgehen, dass beide Verteilungen zur gleichen Familie gehören und die gleichen Dispersionsparameter haben. Unter dieser Annahme kann die logistische Regression die Wahrscheinlichkeiten für die gesamte Familie der Exponentialverteilungen modellieren.

jpmuc
quelle