Die verschiedenen Formulierungen für SVM verstehen

Ich arbeite kernlabjetzt seit mehr als einem Jahr mit, aber ich habe mich bei der C-svcKlassifizierung immer an die Vanilla cost ( ) -Formulierung gehalten .

kernlabEnthält natürlich einige andere Formulierungen. Im Handbuch werden einige Klassifizierungsformulierungen kurz zitiert. Ich bin ziemlich vertraut mit Vanille Cost Svms. Zum Beispiel kenne ich das sehr gut C-svcund habe eine vage Vorstellung davon, was eine native Mehrklassenformulierung umfasst, und ich verstehe die Prinzipien von nu-svc.

Könnte jemand bitte etwas Licht auf diese verschiedenen Formulierungen werfen und wie sie gegebenenfalls mit denen verglichen werden C-svc? Informationen zu verschiedenen Überlegungen, Robustheit, Spärlichkeit, Empfindlichkeit gegenüber hoher Dimensionalität oder Klassenungleichgewichten wären sehr nützlich.

C-svc: C (Kosten) Klassifizierung
nu-svc: (nSV) Klassifizierung $\nu$
C-bsvc: SVM-Klassifizierung mit gebundenen Einschränkungen
spoc-svc Crammer-Singer gebürtige Mehrklassen
kbb-svc Weston-Watkins gebürtige Mehrklassen

classification svm statistical-learning Firebug
quelle

C-SVM:

\begin{aligned} minimize & t (w, b, ξ) = \frac{1}{2} ‖ w ‖_{2}^{2} + \frac{C}{m} \sum_{i = 1}^{m} ξ_{i} \\ subject to & {\begin{matrix} y_{i} (⟨ Φ (x_{i}), w ⟩ + b) \geq 1 - ξ_{i} & (\forall i = 1, \dots, m) \\ ξ_{i} \geq 0 \end{matrix} \end{aligned}

$\begin{align} &\text{minimize} &t(\mathbf w,b,\xi)= {1\over2}\|\mathbf w\|_2^2+{C\over m}\sum_{i = 1}^{m}\xi_i \\ &\text{subject to} &\left\{\begin{matrix} y_i(\langle\Phi(x_i),\mathbf w\rangle+b)\ge1-\xi_i &(\forall i=1,\dots,m) \\ \xi_i \ge0 \end{matrix}\right. \end{align}$

C-svcist die übliche SVM. Das Duale ist:

\begin{aligned} minimize & t (α) = \frac{1}{2} α^{T} \hat{Q} α - 1^{T} α \\ subject to & {\begin{matrix} y^{t} α = 0 \\ 0 \leq α \leq \frac{C}{m} 1 \end{matrix} \end{aligned}

$\begin{align} &\text{minimize} &t(\alpha)= {1\over2}\alpha^T\hat Q\alpha-\mathbf1^T \alpha\\ &\text{subject to} &\left\{\begin{matrix} y^t\alpha=0 \\ \mathbf 0\le \mathbf\alpha\le {C\over m}\mathbf1 \end{matrix}\right. \end{align}$

Mit . $\hat Q_{ij} \equiv y_iy_j \Phi(x_i)^T\Phi(x_j)$

C-BSVM:

\begin{aligned} minimize & t (w, b, ξ) = \frac{1}{2} ‖ w ‖_{2}^{2} + \frac{1}{2} b^{2} + \frac{C}{m} \sum_{i = 1}^{m} ξ_{i} \\ subject to & {\begin{matrix} y_{i} (⟨ Φ (x_{i}), w ⟩ + b) \geq 1 - ξ_{i} & (\forall i = 1, \dots, m) \\ ξ_{i} \geq 0 \end{matrix} \end{aligned}

$\begin{align} &\text{minimize} &t(\mathbf w,b,\xi)= {1\over2}\|\mathbf w\|_2^2+{1\over2}b^2+{C\over m}\sum_{i = 1}^{m}\xi_i \\ &\text{subject to} &\left\{\begin{matrix} y_i(\langle\Phi(x_i),\mathbf w\rangle+b)\ge1-\xi_i &(\forall i=1,\dots,m) \\ \xi_i \ge0 \end{matrix}\right. \end{align}$

C-bsvcführt den Versatz in das Objektiv ein. Dies vereinfacht die doppelte Lösung, wobei nur noch gebundene Einschränkungen verbleiben. $b$

\begin{aligned} minimize & t (α) = \frac{1}{2} α^{T} Q α - 1^{T} α \\ subject to & 0 \leq α \leq \frac{C}{m} 1 \end{aligned}

$\begin{align} &\text{minimize} &t(\alpha)= {1\over2}\alpha^TQ\alpha-\mathbf1^T \alpha\\ &\text{subject to} &\mathbf 0\le \mathbf\alpha\le {C\over m}\mathbf1 \end{align}$

Mit $Q_{ij} \equiv (y_iy_j \Phi(x_i)^T\Phi(x_j)+1)$

$\nu$ -SVM:

\begin{aligned} minimize & t (w, b, ξ, ρ) = \frac{1}{2} ‖ w ‖_{2}^{2} - ν ρ + \frac{1}{m} \sum_{i = 1}^{m} ξ_{i} \\ subject to & {\begin{matrix} y_{i} (⟨ Φ (x_{i}), w ⟩ + b) \geq ρ - ξ_{i} & (\forall i = 1, \dots, m) \\ ξ_{i} \geq 0 & ρ \geq 0 \end{matrix} \end{aligned}

$\begin{align} &\text{minimize} &t(\mathbf w,b,\xi,\rho)= {1\over2}\|\mathbf w\|_2^2-\nu\rho+{1\over m}\sum_{i = 1}^{m}\xi_i \\ &\text{subject to} &\left\{\begin{matrix} y_i(\langle\Phi(x_i),\mathbf w\rangle+b)\ge\rho-\xi_i &(\forall i=1,\dots,m) \\ \xi_i \ge0 & \rho\ge0 \end{matrix}\right. \end{align}$

nu-svc hat das folgende dual:

\begin{aligned} minimize & t (α) = \frac{1}{2} α^{T} \hat{Q} α \\ subject to & {\begin{matrix} y^{t} α = 0 \\ 0 \leq α \leq \frac{1}{m} 1 \\ ‖ α ‖_{1} = \sum_{i = 1}^{n} α_{i} \geq ν \end{matrix} \end{aligned}

$\begin{align} &\text{minimize} &t(\alpha)= {1\over2}\alpha^T\hat Q\alpha\\ &\text{subject to} &\left\{\begin{matrix} y^t\alpha=0 \\ \mathbf 0\le \mathbf\alpha\le {1\over m}\mathbf1 \\ \|\alpha\|_1=\sum_{i=1}^n\alpha_i\ge \nu \end{matrix}\right. \end{align}$

Dies bedeutet, dass mindestens Elemente des Alpha-Vektors ungleich Null sind. Mit anderen Worten, ist eine Untergrenze für den Anteil der Trägervektoren. $\nu$ $\nu$

_{Karatzoglou, Alexandros, David Meyer und Kurt Hornik. "Support Vector Machines in R." (2005).}

_{Niu, Lingfeng et al. "Zwei neue Zerlegungsalgorithmen für das Training von Vektor-Maschinen mit gebundenen Einschränkungen." Grundlagen der Computer- und Entscheidungswissenschaften 40.1 (2015): 67-86.}

Firebug
quelle

Die verschiedenen Formulierungen für SVM verstehen

Antworten: