Warum nicht immer Ensemble-Lernen verwenden?

13

Es scheint mir, dass das Lernen von Ensembles immer eine bessere Prognoseleistung liefert als mit nur einer einzelnen Lernhypothese.

Also, warum benutzen wir sie nicht die ganze Zeit?

Meine Vermutung liegt vielleicht an Recheneinschränkungen? (Selbst dann verwenden wir schwache Prädiktoren, also weiß ich es nicht).

jpmuc
quelle
2
Weil das Lernen von Ensembles nicht immer bessere Leistungen bringt. In einigen Fällen kann sowohl das Absacken als auch das Verstärken der Leistung die Leistung in anderen Fällen erheblich beeinträchtigen.
Marc Claesen

Antworten:

12

Im Allgemeinen ist es nicht wahr, dass es immer besser abschneidet. Es gibt verschiedene Ensemblemethoden, von denen jede ihre Vor- und Nachteile hat. Welche zu verwenden ist, hängt vom jeweiligen Problem ab.

Wenn Sie beispielsweise Modelle mit hoher Varianz haben (diese passen über Ihre Daten hinaus), profitieren Sie wahrscheinlich von der Verwendung von Bagging. Wenn Sie voreingenommene Modelle haben, ist es besser, diese mit Boosting zu kombinieren. Es gibt auch verschiedene Strategien, um Ensembles zu bilden. Das Thema ist einfach zu weit gefasst, um es in einer Antwort zu behandeln.

Aber mein Punkt ist: Wenn Sie die falsche Ensemble-Methode für Ihre Einstellung verwenden, werden Sie es nicht besser machen. Zum Beispiel wird die Verwendung von Bagging mit einem voreingenommenen Modell nicht helfen.

Auch wenn Sie in einer probabilistischen Umgebung arbeiten müssen, funktionieren Ensemble-Methoden möglicherweise nicht. Es ist bekannt, dass Boosting (in seinen beliebtesten Formen wie AdaBoost) schlechte Wahrscheinlichkeitsschätzungen liefert. Das heißt, wenn Sie ein Modell haben möchten, mit dem Sie nicht nur die Klassifizierung, sondern auch die Daten beurteilen können, ist ein grafisches Modell möglicherweise besser geeignet.

jpmuc
quelle
Ein Entscheidungsstumpf ist voreingenommen, aber sie wurden erfolgreich beim Absacken eingesetzt.
ja, aber das ensemble ist immer noch voreingenommen. Was ist, wenn Voreingenommenheit wirklich ein Problem ist? Bagging hilft nicht, um es zu beheben. Könnten Sie einen Verweis auf den von Ihnen erwähnten Fall hinzufügen?
jpmuc