Was sind die theoretischen Garantien des Absackens?

Ich habe (ungefähr) gehört, dass:

Absacken ist eine Technik, um die Varianz eines Prädiktors / Schätzers / Lernalgorithmus zu verringern.

Ich habe jedoch noch nie einen formalen mathematischen Beweis für diese Aussage gesehen. Weiß jemand, warum dies mathematisch wahr ist? Es scheint nur eine so allgemein akzeptierte / bekannte Tatsache zu sein, dass ich einen direkten Hinweis darauf erwarten würde. Ich wäre überrascht, wenn es keine gibt. Weiß auch jemand, welche Auswirkung dies auf die Voreingenommenheit hat?

Gibt es andere theoretische Garantien für Vorgehensweisen, die jeder für wichtig hält und die er teilen möchte?

Der Hauptanwendungsfall für das Absacken besteht darin, die Varianz von Modellen mit geringer Vorspannung zu verringern, indem sie zusammengefügt werden. Dies wurde empirisch in der wegweisenden Arbeit " Ein empirischer Vergleich von Abstimmungsklassifizierungsalgorithmen: Bagging, Boosting und Varianten " von Bauer und Kohavi untersucht . Es funktioniert normalerweise wie angegeben.

Entgegen der landläufigen Meinung wird jedoch nicht garantiert, dass das Absacken die Varianz verringert . Eine neuere und meiner Meinung nach bessere Erklärung ist, dass das Absacken den Einfluss von Hebelpunkten verringert. Hebelpunkte sind diejenigen, die das resultierende Modell überproportional beeinflussen, z. B. Ausreißer in der Regression der kleinsten Quadrate. Es ist selten, aber möglich, dass Hebelpunkte die resultierenden Modelle positiv beeinflussen. In diesem Fall verringert Absacken die Leistung. Schauen Sie sich " Bagging Equalizes Influence " von Grandvalet an .

Um Ihre Frage abschließend zu beantworten: Die Auswirkung des Absackens hängt weitgehend von den Hebelpunkten ab. Es gibt nur wenige theoretische Garantien, außer dass das Absacken die Rechenzeit in Bezug auf die Beutelgröße linear verlängert! Das heißt, es ist immer noch eine weit verbreitete und sehr mächtige Technik. Wenn Sie beispielsweise mit Etikettengeräuschen lernen, können durch das Absacken robustere Klassifikatoren erzeugt werden .

Rao und Tibshirani haben eine Bayes'sche Interpretation in " Die Out-of-Bootstrap-Methode zur Modellmittelung und -auswahl " gegeben :

In diesem Sinne stellt die Bootstrap-Verteilung eine (ungefähre) nichtparametrische, nicht informative hintere Verteilung für unseren Parameter dar. Diese Bootstrap-Verteilung wird jedoch schmerzlos erhalten, ohne dass zuvor eine formelle Angabe gemacht werden muss und ohne dass eine Stichprobe aus der posterioren Verteilung gezogen werden muss. Daher können wir uns die Bootstrap-Verteilung als "Bayes posterior" eines armen Mannes vorstellen.