Unterstützen Sie Vektormaschinen und Regression

Es gibt bereits eine ausgezeichnete Diskussion darüber, wie Support-Vektor-Maschinen mit Klassifizierung umgehen, aber ich bin sehr verwirrt darüber, wie Support-Vektor-Maschinen zur Regression verallgemeinern.

Möchte mich jemand aufklären?

Grundsätzlich verallgemeinern sie auf die gleiche Weise. Der kernelbasierte Ansatz für die Regression besteht darin, das Feature zu transformieren, es als in einen Vektorraum zu bezeichnen und dann in diesem Vektorraum eine lineare Regression durchzuführen. Um den 'Fluch der Dimensionalität' zu vermeiden, unterscheidet sich die lineare Regression im transformierten Raum etwas von gewöhnlichen kleinsten Quadraten. Das Ergebnis ist , dass die Regressions im transformierten Raum können ausgedrückt werden als l ( x ) = Σ i w i φ ( x i ) ⋅ φ ( x ) , wobei x i sind Beobachtungen aus dem Trainingssatz, φ $\mathbf{x}$$\ell(\mathbf{x}) = \sum_i w_i \phi(\mathbf{x_i}) \cdot \phi(\mathbf{x})$$\mathbf{x_i}$ ist die Transformation, die auf Daten angewendet wird, und der Punkt ist das Punktprodukt. Somit wird die lineare Regression durch einige wenige (vorzugsweise sehr wenige) Trainingsvektoren "unterstützt". $\phi(\cdot)$

Alle die mathematischen Einzelheiten sind in der seltsamen Regression im transformierten Raum ( ‚Epsilon unempfindliche Röhre‘ oder was auch immer) und die Wahl der Transformation getan versteckt . Für einen Praktiker gibt es auch Fragen zu einigen freien Parametern (normalerweise in der Definition von ϕ und der Regression) sowie zur Featurisierung , bei der Domänenkenntnisse normalerweise hilfreich sind.$\phi$$\phi$

SVM im Überblick: Wie funktioniert eine Support Vector Machine (SVM)?

In Bezug auf die Support Vector Regression (SVR) finde ich diese Folien von http://cs.adelaide.edu.au/~chhshen/teaching/ML_SVR.pdf ( mirror ) sehr klar:

Die Matlab-Dokumentation enthält auch eine anständige Erklärung und geht zusätzlich auf den Optimierungslösungsalgorithmus ein: https://www.mathworks.com/help/stats/understanding-support-vector-machine-regression.html ( mirror ).

Bisher wurde in dieser Antwort die sogenannte epsilon-unempfindliche SVM (ε-SVM) -Regression vorgestellt. Es gibt eine neuere Variante von SVM für jede Klassifikation der Regression: Die Vektormaschine mit den kleinsten Quadraten .

Zusätzlich kann SVR für Multi-Output, auch Multi-Target genannt, erweitert werden, z. B. siehe {1}.

Verweise:

• {1} Borchani, Hanen, Gherardo Varando, Concha Bielza und Pedro Larrañaga. "Eine Umfrage zur Multi-Output-Regression." Interdisziplinäre Übersichten von Wiley: Data Mining und Knowledge Discovery 5, No. 5 (2015): 216 & ndash; 233. https://scholar.google.com/scholar?cluster=10208375872303977988&hl=de&as_sdt=0,14 ; https://web.archive.org/web/20170628222235/http://oa.upm.es/40804/1/INVE_MEM_2015_204213.pdf