SVM-Kostenfunktion: alte und neue Definitionen

Ich versuche, verschiedene Definitionen der SVM-Kosten-Verlust-Funktion mit weichen Margen in ursprünglicher Form miteinander in Einklang zu bringen. Es gibt einen "max ()" - Operator, den ich nicht verstehe.

Ich habe vor vielen Jahren aus dem Lehrbuch " Introduction to Data Mining " von Tan, Steinbach und Kumar (2006) etwas über SVM gelernt . Es beschreibt die SVM-Kostenfunktion für weiche Margin-Primärformen in Kapitel 5, S. 22. 267-268. Beachten Sie, dass ein max () -Operator nicht erwähnt wird.

Dies kann erreicht werden, indem positiv bewertete Slack-Variablen ( ) in die Einschränkungen des Optimierungsproblems eingeführt werden. ... Die modifizierte Zielfunktion ergibt sich aus folgender Gleichung:$\xi$

$f(\mathbf{w}) = \frac{\left \| \mathbf{w} \right \|^2}{2} + C(\sum_{i=1}^{N} \xi)^k$

Dabei sind $C$ und $k$ benutzerdefinierte Parameter, die die Strafe für die Fehlklassifizierung der Trainingsinstanzen darstellen. Für den Rest dieses Abschnitts nehmen wir $k$ = 1 an, um das Problem zu vereinfachen. Der Parameter $C$ kann basierend auf der Leistung des Modells im Validierungssatz ausgewählt werden.

Daraus folgt, dass der Lagrange für dieses eingeschränkte Optimierungsproblem wie folgt geschrieben werden kann:

$L_{p} = \frac{\left \| \mathbf{w} \right \|^2}{2} + C(\sum_{i=1}^{N} \xi)^k - \sum_{i=1}^{N} \lambda_i (y_i (\mathbf{w} \cdot \mathbf{x_i} + b) - 1 + \xi_i) - \sum_{i=1}^{N} \mu_i \xi_i$

Wenn die ersten beiden Terme die zu minimierende Zielfunktion sind, repräsentiert der dritte Term die Ungleichheitsbeschränkungen, die mit den Slack-Variablen verbunden sind, und der letzte Term ist das Ergebnis der Nicht-Negativitätsanforderungen an die Werte der $\xi_i$ .

Das war also aus einem Lehrbuch von 2006.

Jetzt (im Jahr 2016) habe ich angefangen, neueres Material über SVM zu lesen. In der Stanford-Klasse zur Bilderkennung wird die Urform mit weichem Rand auf ganz andere Weise angegeben:

Beziehung zu Binary Support Vector Machine. Möglicherweise kommen Sie mit früheren Erfahrungen mit binären Support-Vektormaschinen zu dieser Klasse, in der der Verlust für das i-te Beispiel wie folgt geschrieben werden kann:

In ähnlicher Weise wird im Wikipedia-Artikel über SVM die Verlustfunktion wie folgt angegeben:

Woher kommt diese "max" -Funktion? Ist es in den ersten beiden Formeln der Version "Einführung in Data Mining" enthalten? Wie versöhne ich die alten und neuen Formulierungen? Ist das Lehrbuch einfach veraltet?

Die Slack-Variable ist wie folgt definiert (Bild aus Mustererkennung und maschinellem Lernen).$\xi$

$\xi_i = 1- y_i(\omega x_i+b)$ wenn auf der falschen Seite des Randes liegt (dh ), .$x_i$$1- y_i(\omega x_i+b)>0$$\xi_i=0$

Somit ist .$\xi_i=max(0, 1- y_i(\omega x_i+b))\qquad(1)$

Minimieren Sie also die erste Definition, die der Einschränkung (1) unterliegt entspricht der Minimierung der zweiten Definition (Regularisierer + Scharnierverlust)

Es gibt noch eine andere Frage, die verwandt sein könnte. Die Einschränkungen von SVMs im nicht trennbaren Fall verstehen? .