Warum ist die Rückwärtseliminierung bei multipler Regression gerechtfertigt?

9

Führt dies nicht zu einer Überanpassung? Wären meine Ergebnisse zuverlässiger, wenn ich als Teil der Analyse ein Klappmesser oder ein Bootstrap-Verfahren hinzufügen würde?

multiple-regression bootstrap reliability overfitting jackknife sim
quelle
8
Wer sagt, dass es gerechtfertigt ist? Natürlich sollte es zu einer Überanpassung kommen.
Gung - Reinstate Monica
2
Es wird tatsächlich in vielen Büchern vorgeschlagen (noch?), ZB amazon.com/Statistics-Explained-Introductory-Guide-Scientists/… . Ich habe das gleiche Thema selbst gedacht. Ich glaube, ich habe mindestens 3-4 Statistikbücher, in denen das Problem der Überanpassung bei der Einführung der multiplen Regression überhaupt nicht behandelt wird.
mmh
5
Ehrlich gesagt, wenn in einem einführenden Statistikbuch nicht über Überanpassung und Übertests gesprochen wird, würde ich ein anderes Buch lesen.
Matthew Drury
3
Die Rückwärtseliminierung (und Vorwärtsauswahl) neigt immer noch zu einer Überanpassung, wenn eine ausgelassene Kreuzvalidierung (z. B. PRESS) als Merkmalauswahlkriterium verwendet wird.
Dikran Beuteltier
5
@mmh nicht ganz einführend, aber ich empfehle dringend, Kapitel 4 von Frank Harrells Regressionsmodellierungsstrategien zu lesen (nun, nicht nur Kapitel 4 ist lesenswert, sondern dieser Teil ist für diese Diskussion besonders relevant).
Glen_b -State Monica

Antworten:

2

Ich denke, ein Modell zu bauen und es zu testen, sind verschiedene Dinge. Die Rückwärtseliminierung ist Teil des Modellbaus. Jack Messer und Bootstrap werden eher verwendet, um es zu testen.

Mit Bootstrap und Klappmesser können Sie sicherlich zuverlässigere Schätzungen haben als mit der einfachen Rückwärtseliminierung. Aber wenn Sie wirklich die Überanpassung testen möchten, ist der ultimative Test eine geteilte Stichprobe, trainieren Sie einige, testen Sie andere. Auslassen ist für diesen Zweck zu instabil / unzuverlässig: http://www.russpoldrack.org/2012/12/the-perils-of-leave-one-out.html

Ich denke, mindestens 10% der Probanden müssen draußen sein, um stabilere Schätzungen der Robustheit des Modells zu erhalten. Und wenn Sie 20 Fächer haben, sind 2 Fächer immer noch sehr wenige. Dann stellt sich jedoch die Frage, ob Sie eine ausreichend große Stichprobe haben, um ein Modell zu erstellen, das auf den Rest der Bevölkerung angewendet werden kann.

Hoffe, es hat Ihre Frage zumindest teilweise beantwortet.

Dorian P.
quelle
k<nk<<n
Eine Einführung in das statistische Lernen beschreibt verschiedene Ansätze für das Resampling (Validierungssätze, Kreuzvalidierung mit unterschiedlicher Anzahl von Gruppen, Bootstrapping) in Kapitel 5 und die Modellauswahl in Kapitel 6.
EdM