Die optimale Hyperebene in SVM ist definiert als:

wobei den Schwellenwert darstellt. Wenn wir eine Abbildung ϕ haben, die den Eingaberaum auf einen Raum Z abbildet , können wir SVM in dem Raum Z definieren , in dem die optimale Hiperplane ist:$b$$\mathbf \phi$$Z$$Z$

Wir können jedoch immer Mapping definieren , so dass φ 0 ( x ) = 1 , ∀ x , und dann wird der optimale hiperplane definiert werden als w ⋅ φ ( x ) = $\phi$$\phi_0(\mathbf x)=1$$\forall \mathbf x$

Fragen:

1. Warum viele Papiere verwenden , wenn sie bereits Mapping φ und Schätzungsparameter w und theshold b separatelly?$\mathbf w \cdot \mathbf \phi(\mathbf x)+b=0$$\phi$$\mathbf w$$b$

2. Gibt es ein Problem, SVM als zu definieren ? | w | | 2 s . t . y n w ⋅ φ ( x n ) ≥ 1 , ∀ n und schätzt nur Parametervektor w , unter der Annahme , dass wir definieren φ 0 ( x ) = 1 , ∀ x ?

   $$\min_{\mathbf w} ||\mathbf w ||^2$$ $$s.t. \ y_n \mathbf w \cdot \mathbf \phi(\mathbf x_n) \geq 1, \forall n$$ $\mathbf w$$\phi_0(\mathbf x)=1, \forall\mathbf x$

3. Wenn die Definition von SVM aus Frage 2 möglich ist, haben wir und der Schwellenwert ist einfach b = w 0 , was wir nicht separat behandeln werden. Wir werden also niemals eine Formel wie b = t n - w ⋅ ϕ $\mathbf w = \sum_{n} y_n\alpha_n \phi(\mathbf x_n)$$b=w_0$zu schätzenbvon einem SupportVektor x n . Richtig?$b=t_n-\mathbf w\cdot \phi(\mathbf x_n)$$b$$x_n$

Warum ist Voreingenommenheit wichtig?

Der Bias-Term $b$ ist in der Tat ein spezieller Parameter in SVM. Ohne sie durchläuft der Klassifikator immer den Ursprung. SVM gibt Ihnen also nicht die trennende Hyperebene mit dem maximalen Rand, wenn sie nicht zufällig durch den Ursprung verläuft, es sei denn, Sie haben einen Bias-Term.

Unten finden Sie eine Visualisierung des Bias-Problems. Links (rechts) wird eine SVM angezeigt, die mit (ohne) Bias-Term trainiert wurde. Obwohl beide SVMs mit denselben Daten trainiert werden , sehen sie sehr unterschiedlich aus.

Warum sollte die Verzerrung separat behandelt werden?

Wie Ben DAI betonte, sollte der Bias-Term wegen der Regularisierung separat behandelt werden. SVM maximiert die Randgröße von $b$ (oder$\frac{1}{||w||^2}$ je nachdem, wie Sie es definieren).$\frac{2}{||w||^2}$

Das Maximieren des Spielraums entspricht dem Minimieren von . Dies wird auch als Regularisierungsterm bezeichnet und kann als Maß für die Komplexität des Klassifikators interpretiert werden. Sie möchten den Bias-Term jedoch nicht regulieren, da durch die Bias die Klassifizierungswerte nach oben oder unten verschoben werden$||w||^2$ für alle Datenpunkte um den gleichen Betrag nach verschoben werden . Insbesondere ändert die Vorspannung weder die Form des Klassifikators noch seine Randgröße. Deshalb, ...

Der Bias-Term in SVM sollte NICHT reguliert werden.

In der Praxis ist es jedoch einfacher, die Vorspannung einfach in den Merkmalsvektor zu verschieben, als sie als Sonderfall behandeln zu müssen.

Hinweis: Wenn Sie die Vorspannung auf die Merkmalsfunktion verschieben, ist es am besten, diese Dimension des Merkmalsvektors auf eine große Zahl , z. B. ϕ 0 ( x ) = 10 , um die Nebenwirkungen der Regularisierung der Vorspannung zu minimieren.$\phi_0(x) = 10$

Manchmal lassen die Leute das Abfangen in SVM einfach weg, aber ich denke, der Grund, warum wir das Abfangen vielleicht bestrafen können, um es wegzulassen. dh

$\mathbf{\hat{x}} = (\mathbf{1}, \mathbf{x})$$\mathbf{\hat{w}} = (w_{0}, \mathbf{w}^{T})^{T}$

Wenn wir jedoch den Achsenabschnitt in die Gewichte einfügen, unterscheidet sich die Zielfunktion geringfügig von der ursprünglichen. Deshalb nennen wir "bestrafen".

Zusätzlich zu den oben genannten Gründen die Entfernung eines Punktes $x$ zu einer durch Steigung definierten Hyperebene $\theta$ und abfangen $b$ ist