Verwendung des Gamma-Parameters mit Support-Vektor-Maschinen

9

Bei Verwendung libsvmist der Parameter ein Parameter für die Kernelfunktion. Der Standardwert istγ

γ=1number of features.

Gibt es neben den vorhandenen Methoden, z. B. der Rastersuche, theoretische Anleitungen zum Einrichten dieses Parameters?

machine-learning svm data-mining libsvm kernel-trick user3269
quelle

Antworten:

8

Ich würde die folgende theoretische Anleitung vorschlagen. Wenn Sie den Gaußschen RBF-Kernel verwenden, basiert Ihre Trennfläche auf einer Kombination von glockenförmigen Flächen, die an jedem Stützvektor zentriert sind. Die Breite jeder glockenförmigen Oberfläche ist umgekehrt proportional zu . Wenn diese Breite kleiner als der minimale paarweise Abstand für Ihre Daten ist, liegt im Wesentlichen eine Überanpassung vor. Wenn diese Breite größer ist als der maximale paarweise Abstand für Ihre Daten, fallen alle Ihre Punkte in eine Klasse und Sie haben auch keine gute Leistung. Die optimale Breite sollte also irgendwo zwischen diesen beiden Extremen liegen.γ

Löwe
quelle
pair-wise distance for your data= einfacher euklidischer Abstand nach der Skalierung?
Ihadanny
5

Nein, es ist im Wesentlichen datenabhängig. Die Rastersuche (über logarithmisch transformierte Hyperparameter) ist eine sehr gute Methode, wenn Sie nur eine kleine Anzahl von Hyperparametern einstellen müssen, die Rasterauflösung jedoch nicht zu fein einstellen oder die Abstimmung wahrscheinlich zu stark anpassen Kriterium. Bei Problemen mit einer größeren Anzahl von Kernelparametern finde ich, dass die Nelder-Mead-Simplex-Methode gut funktioniert.

Dikran Beuteltier
quelle
Dikran, danke für die Antwort. Können Sie das "datenabhängige" näher erläutern? Wie ist die Beziehung zwischen r und einem Datensatz? Oder mit anderen Worten, gibt es bei einem Datensatz eine Möglichkeit, r basierend auf diesen Daten zu definieren?
user3269
1
Im Wesentlichen bedeutet "datenabhängig" nur, dass die besten Einstellungen je nach Struktur der Daten variieren und es im Allgemeinen keinen besseren Weg gibt, sie festzulegen, als den Kreuzvalidierungsfehler zu minimieren. Kernel-Methoden könnten wirklich eine theoretischere Analyse des Lernens des Kernels vertragen, aber leider ist dies mathematisch sehr schwierig.
Dikran Marsupial