Support Vector Machines (SVMs) sind die Nulltemperaturgrenze der logistischen Regression?

Ich hatte kürzlich eine kurze Diskussion mit einem sachkundigen Freund, der erwähnte, dass SVMs die Nulltemperaturgrenze der logistischen Regression sind. Das Grundprinzip umfasste marginale Polytope und Fenchel-Dualität. Ich konnte nicht folgen.

Ist diese Aussage über SVMs als Nulltemperaturgrenze der logistischen Regression wahr? Und wenn ja, kann jemand das Argument beschreiben?

Dies gilt für SVM mit hartem Rand und linear trennbare Daten.

Eine intuitive Skizze: Der Verlust für jeden Datenpunkt in der logistischen Regression stirbt fast als exponentielle Abklingkurve ab, wenn Sie sich weiter von der Entscheidungsgrenze entfernen (natürlich in die richtige Richtung). Dieser exponentielle Abfall bedeutet, dass die Punkte, die der Grenze am nächsten liegen, viel mehr Verluste verursachen. Wenn die Temperatur auf 0 abfällt, dominieren die Punkte, die der Grenze am nächsten liegen, den Verlust vollständig, und der Verlust wird dadurch bestimmt, wie nahe die nächsten Punkte genau sind.

Die binäre logistische Regression hat den Kreuzentropieverlust: wobei die Bezeichnung und die vorhergesagte Wahrscheinlichkeit in .y p ( 0 , 1 $- y \log p - (1-y)\log (1-p)$$y$$p$$(0,1)$

Typischerweise ist wobei σ die Sigmoidfunktion ist. Aufgrund des in diesem Artikel vorgestellten Temperaturparameters vermute ich, dass sich die Temperatur auf eine Modifikation der Formulierung bezieht: p = σ ( w T$p = \sigma(w^Tx + b)$$\sigma$, wobeiτdie Temperatur ist und ich der Einfachheit halber den Bias-Term fallen gelassen habe.$p = \sigma(\frac{w^Tx}{\tau})$$\tau$

Betrachtet man nur den ersten Term des Verlustes, . Nehmen Sie allewTx>0 an, denn alles andere würde bedeuten, dassxauf der falschen Seite der Entscheidungsgrenze liegt und einen unendlichen Verlust alsτ→0 verursacht. Da der Exponentialterm im Grenzbereich sehr klein wird, verwenden wir die Taylor-Expansion erster Ordnung fürlog(1+z), um-ylogp≈yexp(- w T x)zu schreiben$-y\log p = y\log(1+\exp{}(-\frac{w^Tx}{\tau}))$$w^Tx > 0$$x$$\tau \rightarrow 0$$\log(1+z)$$-y\log p \approx y\exp{(-\frac{w^Tx}{\tau})}$

Bisher haben wir nur den Verlust für einen einzelnen Datenpunkt verwendet, aber der tatsächliche Verlust ist . Betrachten Sie nur positive Bezeichnungen (yi=1). Dann wird diese Summe von dem Term dominiert, bei demwTxiam kleinsten ist (am nächsten an der Entscheidungsgrenze).$\sum_i y_i \exp{(-\frac{w^Tx_i}{\tau})}$$y_i = 1$$w^Tx_i$

Dies ist zu sehen, weil das Verhältnis zwischen dem Term und dem j- Term exp ( - w T x i / τ $i$$j$$\frac{\exp (-w^T x_i/\tau)}{\exp (-w^T x_j/\tau)} = \exp(\frac{w^T x_j-w^T x_i}{\tau})$$\tau \rightarrow 0$$w^T x_i$

Ein symmetrisches Argument kann für den zweiten Term im Verlust verwendet werden.

Daher wird der Verlust des logistischen Regressionsproblems bei einem Temperaturanstieg auf 0 minimiert, indem der Mindestabstand zur Entscheidungsgrenze maximiert wird.