Den "Kernel-Trick" auf lineare Methoden anwenden?

20

Der Kernel-Trick wird in mehreren maschinellen Lernmodellen (z . B. SVM ) verwendet. Es wurde erstmals 1964 in der Arbeit "Theoretische Grundlagen der Potentialfunktionsmethode beim Lernen der Mustererkennung" vorgestellt.

Die Wikipedia-Definition besagt, dass dies der Fall ist

ein Verfahren zum Verwenden eines linearen Klassifikatoralgorithmus zum Lösen eines nichtlinearen Problems durch Abbilden der ursprünglichen nichtlinearen Beobachtungen in einen höherdimensionalen Raum, wobei der lineare Klassifikator anschließend verwendet wird; Dies macht eine lineare Klassifizierung im neuen Raum gleichbedeutend mit einer nichtlinearen Klassifizierung im ursprünglichen Raum.

Ein Beispiel für ein lineares Modell, das auf nichtlineare Probleme erweitert wurde, ist das Kernel-PCA . Kann der Kernel-Trick auf ein beliebiges lineares Modell angewendet werden oder unterliegt er bestimmten Einschränkungen?

Shane
quelle
1
Übrigens sind Kernel für SVMs nicht unbedingt erforderlich. Das "Herz" von SVM ist das Prinzip der Maximierung des weichen Spielraums. Wenn Sie zur Kernel-Repräsentation gehen, erhalten Sie die Problemdimensionalität O (m ^ 2) anstelle von O (d), wobei m die Anzahl der Beispiele und d die Dimension Ihres Merkmalsraums ist. Wenn also m ^ 2 mehr als d ist, sind Sie möglicherweise Es ist besser, die Kernel zu beseitigen. jmlr.csail.mit.edu/papers/v6/keerthi05a.html
Yaroslav Bulatov
@ Jaroslaw: Danke für den Hinweis. Kennen Sie Implementierungen dieser "modifizierten Finite-Newton-Methode"?
Shane
Nein, aber die Seiten von Keerthi und Langford enthalten Links zu Software, die möglicherweise in Zusammenhang stehen, da beide bei Yahoo Research
Yaroslav Bulatov

Antworten:

17

Der Kernel-Trick kann nur auf lineare Modelle angewendet werden, bei denen die Beispiele in der Problemformulierung als Punktprodukte angezeigt werden (Support Vector Machines, PCA usw.).

Ebenholz1
quelle
Danke für die Antwort. @mbq @ ebony1: IMO müssen wir uns mehr anstrengen, um ernsthaftere Fragen zum maschinellen Lernen auf der Website zu veröffentlichen, um mehr von dieser Community anzulocken.
Shane
@Shane Ich stimme vollkommen zu, aber was ist mit einer anderen SO-Site wie metaoptimize.com/qa ?
Chl
@chl: Das ist auch eine Option, aber es ist nicht Teil von StackExchange (es wird von einer Person und auf einer anderen Software gesteuert), und ich persönlich würde es vorziehen, wenn sich diese verschiedenen Datenanalyse-Communities an einem Ort vermischen.
Shane
@ Shane Na ja, ok es macht Sinn.
Chl
Es gibt auch Maschinelles Lernen Stapel Austauschvorschlag area51.stackexchange.com/proposals/7607/machine-learning
Yaroslav Bulatov
2

@ ebony1 gibt den entscheidenden Punkt (+1) an. Ich war Mitautor eines Papiers, in dem erörtert wurde, wie generalisierte lineare Modelle, z. B. logistische Regression und Poisson-Regression, kernelisiert werden können. Es ist ziemlich einfach.

GC Cawley, GJ Janacek und NLC Talbot, Generalized Kernel Machines, in Proceedings der Internationalen IEEE / INNS-Konferenz über Neuronale Netze (IJCNN-2007), S. 1732-1737, Orlando, Florida, USA, 12.-17. August 2007. ( www , pdf )

Ich habe auch eine MATLAB-Toolbox (Forschungsqualität) geschrieben (leider keine Anleitung), die Sie hier finden .

In der Lage zu sein, die Zielverteilung zu modellieren, ist sehr nützlich bei der Quanifizierung von Unsicherheiten usw., daher ist es eine nützliche (wenn auch eher inkrementelle) Ergänzung zu Kernel-Lernmethoden.

Dikran Beuteltier
quelle