Dirichlet-Prozesse für betreutes Lernen?

8

Wenn ich mich hier umschaue, scheinen die modischen Lernalgorithmen Dinge wie neuronale Netze, verstärkte Bäume, Support-Vektor-Maschinen, zufällige Wälder und Freunde für überwachte Lernprobleme zu fördern. Dirichlet-Prozesse und ihre Art scheinen hauptsächlich bei unbeaufsichtigten Lernproblemen wie Dokumenten- oder Bildclustern erwähnt zu werden. Ich sehe, dass sie für Regressionsprobleme oder als Allzweckprioren verwendet werden, wenn man Bayes'sche Statistiken nichtparametrisch oder semiparametrisch erstellen möchte (z. B. als flexibler Vorgänger für die Verteilung zufälliger Effekte in bestimmten Modellen), aber meine begrenzte Erfahrung legt dies nahe Dies kommt nicht so sehr von der Masse der maschinellen Lernenden wie von traditionelleren Statistikern. Ich habe ein bisschen gegoogelt und ich '

Sind Dirichlet-Prozesse und ihre Cousins ​​als Prioritäten für flexible Clustering-Modelle am effektivsten? Sind sie nicht wettbewerbsfähig mit Boosting, SVMs und neuronalen Netzen für überwachte Lernprobleme? Sind sie nur in bestimmten Situationen für diese Probleme nützlich? Oder ist mein allgemeiner Eindruck falsch?

dirichlet-process Kerl
quelle
Was für eine Regression bedeutet das? in der Basisverteilung des DP? oder im Mischparameter? Ich würde denken, es würde Ihnen schwer fallen, ein solches Modell zu montieren.
Wahrscheinlichkeitslogik
Oder meinen Sie eine Art generische "Regression", bei der Sie einen multivariaten DP an die Rand- und Gelenkverteilungen anpassen?
Wahrscheinlichkeitslogik
@probabilityislogic Fit-Verteilung von DP zu Joint gezogen und dann die Bedingungen abrufen, ist die Art von Dingen, an die ich gedacht habe, mit Variationen dieses Themas. Die Modellierung der Gewichte in der Stick-Breaking-Konstruktion ist ähnlich.
Kerl

Antworten:

1

Diese Frage erhält nicht allzu viel Aufmerksamkeit, daher werde ich antworten, um zu aktualisieren, was ich gefunden habe, und (hoffentlich) die Diskussion anregen. Ich bin auf einen Artikel gestoßen, auf den ich mich freue zu lesen, in dem DPMs zur Klassifizierung verwendet werden (Shahbaba und Neal, 2007), die sie anhand von Proteinfaltungsdaten getestet haben. Im Wesentlichen scheint es, dass sie etwas Ähnliches getan haben, wie ich es in den obigen Kommentaren vorgeschlagen habe. Es wurde sowohl mit neuronalen Netzen als auch mit Support-Vektor-Maschinen verglichen. Dies ist eine kleine Erleichterung für mich, da ich viel Zeit in diese Modelle gesteckt habe, um Probleme mit überwachtem maschinellem Lernen zu lösen. Es scheint also, dass ich (vielleicht) meine Zeit nicht verschwendet habe.

Kerl
quelle
1

Werfen Sie einen Blick auf das DP-Paket von R. Der Dirichlet-Prozess kann zumindest als Prior für einen zufälligen Effekt verwendet werden und um eine nichtparametrische Fehlerverteilung für die Regression zu erstellen.

scellus
quelle