Welche Kernel-Methode liefert die besten Wahrscheinlichkeitsausgaben?

Kürzlich habe ich Platt's Skalierung von SVM-Ausgaben verwendet, um die Wahrscheinlichkeiten von Standardereignissen abzuschätzen. Direktere Alternativen scheinen "Kernel Logistic Regression" (KLR) und die zugehörige "Import Vector Machine" zu sein.

Kann jemand sagen, welche Kernel-Methode, die Wahrscheinlichkeitsausgaben liefert, derzeit Stand der Technik ist? Gibt es eine R-Implementierung von KLR?

Vielen Dank für Ihre Hilfe!

logistic svm kernel-trick RichardN
quelle

(+1) Eine sehr interessante Frage ...

steffen

Antworten:

Die Gaußsche Prozessklassifizierung (unter Verwendung der Erwartungsausbreitung) ist wahrscheinlich der Stand der Technik beim maschinellen Lernen. Es gibt ein ausgezeichnetes Buch von Rasmussen und Williams (kostenlos herunterladbar), dessen Website eine sehr gute MATLAB-Implementierung hat. Mehr Software, Bücher, Papiere etc. hier . In der Praxis wird KLR bei den meisten Problemen wahrscheinlich genauso gut funktionieren. Die Hauptschwierigkeit besteht in der Auswahl der Kernel- und Regularisierungsparameter, was wahrscheinlich am besten durch Kreuzvalidierung erfolgt, obwohl eine ausgelassene Kreuzvalidierung angenähert werden kann sehr effizient, siehe Cawley und Talbot (2008).

Dikran Beuteltier
quelle

(+1) Vielen Dank für den Link und die Beratung zur Modellauswahl.

Chl

Ich sollte hinzufügen, verwenden Sie keine Implementierungen, die auf der Laplace-Näherung basieren - der hintere Teil ist stark verzerrt, und eine symmetrische Näherung, die auf dem Modus zentriert ist, funktioniert im Allgemeinen nicht sehr gut.

Dikran Beuteltier

Vielen Dank, Dikran! Können Sie mir die Beziehung zwischen KLR und Kernel-Glättung erklären? Das KLR-Modell ist ähnlich wie die svm-Formulierung [Verlust + Strafe] aufgebaut und wird über einen Gradientenabstieg gelöst. Gleichzeitig beziehen sich Verweise (z. B. in "Kernel Logistic Regression and the Import Vector Machine", Zhu und Hastie 2005) auf KLR auf die Glättungsliteratur (z. B. "Generalized Additive Models", Hastie und Tibshirani 1990).

RichardN

Ich bin mit der Glättungsliteratur nicht so vertraut, aber Kernelmodelle sind eng mit der Spline-Glättung verwandt. Ich denke, der beste Ort, um nachzuschauen , wären die Veröffentlichungen von Grace Wahba ( stat.wisc.edu/~wahba ), deren Arbeit sowohl Glättungs- als auch Kernel-Methoden umfasst.

Dikran Marsupial

Danke, ich werde mir die Veröffentlichungen von wahba genauer ansehen. Können Sie eine Implementierung von KLR empfehlen, bestenfalls in R?

RichardN

Ich denke, Sie wissen, dass der Kernel für die logistische Regression nicht parametrisch ist, also haben Sie zuerst diese Einschränkung.

In Bezug auf das R-Paket ist das, das ich kenne und das ziemlich gut funktioniert, np : Nichtparametrische Kernel-Glättungsmethoden für gemischte Datentypen

Dieses Paket bietet eine Vielzahl nichtparametrischer (und semiparametrischer) Kernelmethoden, die eine Mischung aus kontinuierlichen, ungeordneten und geordneten Faktordatentypen nahtlos verarbeiten.

Den Stand der Technik in Bezug auf Kernell ich Experiment empfehlen kann mit den in diesem beschriebenen Papier aus dem Jahr 2009. Lesen Sie es sorgfältig zu wählen , das am besten und aktuelleren für Sie ist.

Mariana weicher
quelle

Hey Mariana, danke für deine Antwort, aber wir hatten ein Missverständnis: Ich meine mit "Kernel-Methoden" Methoden wie die Support-Vektor-Maschine, die den "Kernel-Trick" verwenden, nicht Kernel-Glättungsmethoden.

Richard N