Ich habe unzählige Beiträge auf dieser Site gelesen, die unglaublich gegen die schrittweise Auswahl von Variablen mit beliebigen Kriterien wie p-Werten, AIC, BIC usw. sind.
Ich verstehe, warum diese Verfahren im Allgemeinen ziemlich schlecht für die Auswahl von Variablen sind. Gungs wahrscheinlich berühmter Post hier zeigt deutlich, warum; Letztendlich überprüfen wir eine Hypothese für denselben Datensatz, den wir zur Erstellung der Hypothese verwendet haben, bei der es sich nur um Datenbaggerung handelt. Darüber hinaus werden p-Werte durch Größen wie Kollinearität und Ausreißer beeinflusst, die zu einer starken Verschiebung der Ergebnisse usw. führen.
Aber ich habe in letzter Zeit ziemlich viel Reihenprognose Studium Zeit und haben über Hyndman des angesehenen Lehrbuch kommen , in dem er erwähnt hier die Verwendung von schrittweise Auswahl der optimalen Reihenfolge der ARIMA - Modelle insbesondere zu finden. In dem forecast
Paket in R verwendet der als auto.arima
Standard bekannte Algorithmus die schrittweise Auswahl (mit AIC, nicht mit p-Werten). Er kritisiert auch die auf p-Werten basierende Funktionsauswahl, die gut mit mehreren Posts auf dieser Website übereinstimmt.
Letztendlich sollten wir am Ende immer eine Art Kreuzvalidierung durchführen, wenn das Ziel darin besteht, gute Modelle für Prognosen / Vorhersagen zu entwickeln. Dies ist hier jedoch sicherlich eine gewisse Meinungsverschiedenheit, wenn es um die Prozedur selbst für andere Bewertungsmetriken als p-Werte geht.
Hat jemand eine Meinung zur Verwendung von stepwise AIC in diesem Zusammenhang, aber auch generell außerhalb dieses Zusammenhangs? Mir wurde beigebracht zu glauben, dass eine schrittweise Auswahl schlecht ist, aber um ehrlich zu sein, auto.arima(stepwise = TRUE)
habe ich aus den Stichprobenergebnissen bessere Ergebnisse erzielt, als dies auto.arima(stepwise = FALSE)
vielleicht nur ein Zufall ist.
Antworten:
Hier gibt es ein paar verschiedene Probleme.
Fazit: Für mittelgroße Daten mit einem angemessenen Signal-Rausch-Verhältnis kann eine schrittweise Auswahl auf AIC-Basis tatsächlich ein vertretbares Vorhersagemodell ergeben . siehe Murtaugh (2009) für ein Beispiel.
Murtaugh, Paul A. "Durchführung mehrerer variabler Auswahlmethoden, die auf reale ökologische Daten angewendet werden." Ökologiebuchstaben 12, Nr. 10 (2009): 1061 & ndash; 1068.
quelle