Gibt es Anwendungen, bei denen SVM noch überlegen ist?

10

Der SVM-Algorithmus ist ziemlich alt - er wurde in den 1960er Jahren entwickelt, war aber in den 1990er und 2000er Jahren äußerst beliebt. Es ist ein klassischer (und sehr schöner) Teil von Kursen zum maschinellen Lernen.

Heute scheinen neuronale Netze in der Medienverarbeitung (Bilder, Ton usw.) vollständig zu dominieren, während Gradient Boosting in anderen Bereichen sehr starke Positionen einnimmt.

Außerdem habe ich in den letzten Datenwettbewerben keine SVM-basierten Lösungen beobachtet.

Ich suche nach Anwendungsbeispielen, bei denen SVM immer noch aktuelle Ergebnisse liefert (Stand 2016).

Update: Ich hätte gerne ein Beispiel, das ich zB Studenten / Kollegen geben kann, wenn ich SVM erkläre, damit es nicht nach einem rein theoretischen oder veralteten Ansatz aussieht.

machine-learning svm Alleo
quelle
3
In welchem ​​Sinne überlegen? Eine Leistungsmetrik? Das Trainieren eines tiefen neuronalen Netzes erfordert viel Computerzeit, aber ich kann eine wartungsfähige SVM auf meinem Laptop trainieren.
Sycorax sagt Reinstate Monica
@ user777 Ich meine natürlich die für das Anwendungsfeld geeignete Klassifizierungs- / Regressionsmetrik. Das Problem mit der Rechenkomplexität für DL ist wichtig, liegt jedoch etwas außerhalb des Rahmens dieser Frage.
Alleo

Antworten:

11

Brauchen wir laut dem Papier Hunderte von Klassifikatoren, um Klassifizierungsprobleme in der realen Welt zu lösen? SVM gehört zusammen mit Random Forest und Gradient Booting Machines zu den leistungsstärksten Klassifizierungsalgorithmen für einen großen Satz von mehr als 120 Datensätzen (unter Verwendung der Genauigkeit als Metrik).

Ich habe ihre Experimente mit einigen Modifikationen wiederholt und diese drei Klassifikatoren haben eine bessere Leistung als die anderen, aber wie der Satz über das freie Mittagessen besagt, gibt es immer ein Problem, bei dem ein anderer Algorithmus eine bessere Leistung als diese drei aufweist.

Also ja, ich würde sagen, dass SVM (mit dem Gaußschen Kernel - das habe ich verwendet) immer noch ein relevanter Algorithmus für nicht medienbezogene Datensätze ist.

Jacques Wainer
quelle
Hallo, danke für die Antwort! Ich habe diese interessante Studie gesehen. Soweit ich weiß, war die Idee zu sehen, wie viel Klassifikator ohne ernsthafte Optimierung gibt (während Datenanalysten IMO- Optimierung durchführen sollten ). Eine gebietsbezogene Studie wäre von größerem Interesse.
Alleo
1
Ich erinnere mich, dass Delgado et al. Keine sehr detaillierte Suche nach den besten Hyperparametern durchgeführt haben, aber wenn sie eine Suche durchgeführt haben. Die Frage (auf die ich keine Antwort habe) ist, ob eine feinkörnigere Suche nach den besten Hypeparametern zu unterschiedlichen Ergebnissen führen würde. Wenn dies zutrifft, würde dies bedeuten, dass die konkurrierenden Algorithmen für SVM im Allgemeinen einen sehr scharfen Spitzenwert in der Genauigkeit für bestimmte Hyperparameter aufweisen, was meiner Meinung nach ein negativer Faktor für den Algorithmus ist.
Jacques Wainer
Ein kleiner Kommentar ist auch, dass UCI-Datensätze (für Tests verwendet) meist recht klein sind. Ich frage mich, ob dies die Erklärung für die schlechten Ergebnisse des Boostings sein könnte. Die meisten Kaggle-Herausforderungen (mit vielen Daten) zeigen die überlegene Leistung von GB.
Alleo
Ich bin damit einverstanden, dass die Datensätze klein sind. Für größere Datensätze habe ich im Moment Random Forests verwendet - werde GBM verwenden, sobald ich mit den Hyperparametern vertraut bin - ich weiß nicht, wie sinnvoll GBM für sie ist.
Jacques Wainer