Variable Bedeutung von SVM

Antworten:

19

Wenn Sie für den Gewichtsvektor eine 1-Strafe verwenden, erfolgt die automatische Merkmalsauswahl, da die den irrelevanten Attributen entsprechenden Gewichte automatisch auf Null gesetzt werden. Siehe dieses Papier . Die (absolute) Größe jeder Nicht-Null-Gewichtung kann eine Vorstellung von der Wichtigkeit des entsprechenden Attributs geben.

Schauen Sie sich auch dieses Dokument an, in dem Kriterien verwendet werden, die von SVMs abgeleitet wurden, um die Attributauswahl zu steuern.

Ebenholz1
quelle
1
Wurde einer dieser Algorithmen in R oder einer anderen Software implementiert?
George Dontas
5
Ja, werfen Sie einen Blick auf das R penalizedSVM-Paket. Andere Pakete von Interesse sind: bestraft, elastisch, ppls, lars oder allgemeiner: cran.r-project.org/web/views/MachineLearning.html
chl
7

Isabelle Guyon, André Elisseeff, "Eine Einführung in die Auswahl von Variablen und Merkmalen", JMLR, 3 (März): 1157-1182, 2003. http://jmlr.csail.mit.edu/papers/v3/guyon03a.html

ist lesenswert, es wird einen guten Überblick über Ansätze und Themen geben. Die eine Sache, die ich hinzufügen möchte, ist, dass die Merkmalsauswahl nicht unbedingt die Prognoseleistung verbessert und sie leicht verschlechtern kann (da es leicht ist, das Merkmalsauswahlkriterium zu stark anzupassen). Einer der Vorteile von (insbesondere linearen) SVMs besteht darin, dass sie mit einer großen Anzahl von Features gut funktionieren (vorausgesetzt, Sie stimmen den Regularisierungsparameter richtig ab). Daher besteht häufig keine Notwendigkeit, wenn Sie nur an Vorhersagen interessiert sind.

Dikran Beuteltier
quelle
2
Ich würde sogar das gesamte Buch von I. Guyon und Mitarbeitern empfehlen , j.mp/anblwx . Das ESL-Buch von Hastie et al., J.mp/bW3Hr4 , bietet auch interessante Diskussionen zu diesem „heißen“ Thema.
Chl
Ich bin mit Ihrer Behauptung nicht einverstanden. FS ist für sich genommen für einige erklärende Informationen interessant (Marker- / SNP-Auswahl ist ein Beispiel, wenn es ein Hauptziel der Analyse ist). Die Überanpassung der Featureauswahl ist natürlich ein Problem, aber es gibt Methoden, um sie wegzulassen.
Ich habe darauf hingewiesen, dass FS die Vorhersagekraft nicht unbedingt verbessert und sie noch verschlimmern kann. Wenn das Auffinden der informativen Merkmale von wesentlicher Bedeutung ist, sollte natürlich FS verwendet werden, aber es kann durchaus vorkommen, dass die prädiktive Leistung beeinträchtigt wird, wenn das Merkmalauswahlkriterium zu stark angepasst wird (was ziemlich leicht vorkommt). Für Aufgaben wie die Mikroarray-Analyse würde ich (eingesackte) Grat-Regression für Vorhersagen und so etwas wie das LASSO zur Bestimmung der Schlüsselmerkmale (zum Verständnis der Biologie) verwenden. Es ist nicht erforderlich, beide im selben Modell auszuführen.
Dikran Beuteltier
1

Wenn Sie R verwenden, kann die Variablenbedeutung mit der Wichtigkeitsmethode im rminer-Paket berechnet werden. Dies ist mein Beispielcode:

library(rminer)
M <- fit(y~., data=train, model="svm", kpar=list(sigma=0.10), C=2)
svm.imp <- Importance(M, data=train)

Im Detail finden Sie unter folgendem Link https://cran.r-project.org/web/packages/rminer/rminer.pdf

Takashi Kaneda
quelle
2
Diese Antwort ist unvollständig. Es wird nicht beschrieben, welche Bedeutung die Variable in diesem Paket für die Kommunikation hat.
Matthew Drury
Ich habe Beispielcode hinzugefügt
Takashi Kaneda