Der Kernel-Trick wird in mehreren maschinellen Lernmodellen (z . B. SVM ) verwendet. Es wurde erstmals 1964 in der Arbeit "Theoretische Grundlagen der Potentialfunktionsmethode beim Lernen der Mustererkennung" vorgestellt.
Die Wikipedia-Definition besagt, dass dies der Fall ist
ein Verfahren zum Verwenden eines linearen Klassifikatoralgorithmus zum Lösen eines nichtlinearen Problems durch Abbilden der ursprünglichen nichtlinearen Beobachtungen in einen höherdimensionalen Raum, wobei der lineare Klassifikator anschließend verwendet wird; Dies macht eine lineare Klassifizierung im neuen Raum gleichbedeutend mit einer nichtlinearen Klassifizierung im ursprünglichen Raum.
Ein Beispiel für ein lineares Modell, das auf nichtlineare Probleme erweitert wurde, ist das Kernel-PCA . Kann der Kernel-Trick auf ein beliebiges lineares Modell angewendet werden oder unterliegt er bestimmten Einschränkungen?
Antworten:
Der Kernel-Trick kann nur auf lineare Modelle angewendet werden, bei denen die Beispiele in der Problemformulierung als Punktprodukte angezeigt werden (Support Vector Machines, PCA usw.).
quelle
Zwei weitere Referenzen von B. Schölkopf :
und eine Website für Kernel-Maschinen .
quelle
@ ebony1 gibt den entscheidenden Punkt (+1) an. Ich war Mitautor eines Papiers, in dem erörtert wurde, wie generalisierte lineare Modelle, z. B. logistische Regression und Poisson-Regression, kernelisiert werden können. Es ist ziemlich einfach.
GC Cawley, GJ Janacek und NLC Talbot, Generalized Kernel Machines, in Proceedings der Internationalen IEEE / INNS-Konferenz über Neuronale Netze (IJCNN-2007), S. 1732-1737, Orlando, Florida, USA, 12.-17. August 2007. ( www , pdf )
Ich habe auch eine MATLAB-Toolbox (Forschungsqualität) geschrieben (leider keine Anleitung), die Sie hier finden .
In der Lage zu sein, die Zielverteilung zu modellieren, ist sehr nützlich bei der Quanifizierung von Unsicherheiten usw., daher ist es eine nützliche (wenn auch eher inkrementelle) Ergänzung zu Kernel-Lernmethoden.
quelle