Unterstützen Sie Vektormaschinen und Regression

26

Es gibt bereits eine ausgezeichnete Diskussion darüber, wie Support-Vektor-Maschinen mit Klassifizierung umgehen, aber ich bin sehr verwirrt darüber, wie Support-Vektor-Maschinen zur Regression verallgemeinern.

Möchte mich jemand aufklären?

Zach
quelle

Antworten:

17

Grundsätzlich verallgemeinern sie auf die gleiche Weise. Der kernelbasierte Ansatz für die Regression besteht darin, das Feature zu transformieren, es als in einen Vektorraum zu bezeichnen und dann in diesem Vektorraum eine lineare Regression durchzuführen. Um den 'Fluch der Dimensionalität' zu vermeiden, unterscheidet sich die lineare Regression im transformierten Raum etwas von gewöhnlichen kleinsten Quadraten. Das Ergebnis ist , dass die Regressions im transformierten Raum können ausgedrückt werden als l ( x ) = Σ i w i φ ( x i ) φ ( x ) , wobei x i sind Beobachtungen aus dem Trainingssatz, φ (x(x)=ichwichϕ(xich)ϕ(x)xich ist die Transformation, die auf Daten angewendet wird, und der Punkt ist das Punktprodukt. Somit wird die lineare Regression durch einige wenige (vorzugsweise sehr wenige) Trainingsvektoren "unterstützt". ϕ()

Alle die mathematischen Einzelheiten sind in der seltsamen Regression im transformierten Raum ( ‚Epsilon unempfindliche Röhre‘ oder was auch immer) und die Wahl der Transformation getan versteckt . Für einen Praktiker gibt es auch Fragen zu einigen freien Parametern (normalerweise in der Definition von ϕ und der Regression) sowie zur Featurisierung , bei der Domänenkenntnisse normalerweise hilfreich sind.ϕϕ

shabbychef
quelle
Ist dies aus der Sicht der Intuition fast wie eine Klassifikation mit einer Klasse, bei der die Klassenbegrenzungslinie durch die Punkte verläuft und nicht zwischen den Punkten zweier Klassen?
Wayne
@ Wayne, das ist mein Verständnis, ja. Ich bin jedoch nicht 100%.
Zach
5

SVM im Überblick: Wie funktioniert eine Support Vector Machine (SVM)?

In Bezug auf die Support Vector Regression (SVR) finde ich diese Folien von http://cs.adelaide.edu.au/~chhshen/teaching/ML_SVR.pdf ( mirror ) sehr klar:

Bildbeschreibung hier eingeben

Bildbeschreibung hier eingebenBildbeschreibung hier eingeben

Bildbeschreibung hier eingeben

Bildbeschreibung hier eingeben

Bildbeschreibung hier eingeben

Bildbeschreibung hier eingeben

Bildbeschreibung hier eingeben

Bildbeschreibung hier eingeben

Die Matlab-Dokumentation enthält auch eine anständige Erklärung und geht zusätzlich auf den Optimierungslösungsalgorithmus ein: https://www.mathworks.com/help/stats/understanding-support-vector-machine-regression.html ( mirror ).

Bisher wurde in dieser Antwort die sogenannte epsilon-unempfindliche SVM (ε-SVM) -Regression vorgestellt. Es gibt eine neuere Variante von SVM für jede Klassifikation der Regression: Die Vektormaschine mit den kleinsten Quadraten .

Zusätzlich kann SVR für Multi-Output, auch Multi-Target genannt, erweitert werden, z. B. siehe {1}.


Verweise:

Franck Dernoncourt
quelle