Was ist Schrumpfung?

Das Wort Schrumpfung wird in bestimmten Kreisen häufig verwendet. Aber was Schrumpfung ist, scheint es keine klare Definition zu geben. Wenn ich eine Zeitreihe (oder eine Sammlung von Beobachtungen eines Prozesses) habe, auf welche Weise kann ich eine Art empirischen Schrumpfens an der Reihe messen? Über welche verschiedenen Arten der theoretischen Schrumpfung kann ich sprechen? Wie kann Schrumpfen bei der Vorhersage helfen? Können die Leute gute Einblicke oder Referenzen geben?

1961 veröffentlichten James und Stein einen Artikel mit dem Titel "Schätzung mit quadratischem Verlust" https://projecteuclid.org/download/pdf_1/euclid.bsmsp/1200512173 . Der Begriff Schrumpfung wird zwar nicht speziell geprägt, es werden jedoch Minimax-Schätzer für hochdimensionale Statistiken (tatsächlich sogar für einen Standort mit 3 Parametern) erörtert, die ein geringeres Risiko (erwarteter Verlust) aufweisen als die übliche MLE (jede Komponente der Stichprobenmittelwert) für normale Daten . Bradley Efron nennt ihre Entdeckung "den auffälligsten Satz der mathematischen Nachkriegsstatistik". Dieser Artikel wurde 3.310 Mal zitiert.

Copas schreibt 1983 den ersten Artikel Regression, Vorhersage und Schrumpfung, um den Begriff "Schrumpfung" zu prägen. Es ist implizit in der Zusammenfassung definiert:

Die Anpassung eines Regressionsprädiktors an neue Daten ist fast immer schlechter als die Anpassung an die Originaldaten. Die Antizipation dieser Schrumpfung führt zu Prädiktoren vom Stein-Typ, die unter bestimmten Annahmen einen gleichmäßig niedrigeren mittleren quadratischen Vorhersagefehler ergeben als die kleinsten Quadrate.

Und in allen aufeinanderfolgenden Untersuchungen scheint sich die Schrumpfung auf die Betriebseigenschaften (und Schätzungen davon) für die Validität der Vorhersage und Schätzung außerhalb der Stichprobe im Zusammenhang mit der Suche nach zulässigen und / oder Minimax-Schätzern zu beziehen.

Hier geht es um Regularisierung. Angenommen, Sie möchten eine Kurve anpassen und verwenden eine quadratische Verlustfunktion (Sie können verschiedene auswählen). DurchfitSie möchten die Parameter wiederherstellen, die den Prozess steuern, der diese Kurve generiert hat. Stellen Sie sich nun vor, Sie möchten diese Kurve mit dem 100. Polynom anpassen (nur zum Beispiel). Es ist ziemlich wahrscheinlich, dass Sie jeden Knick und jedes Rauschen der Kurve überanpassen oder erfassen. Darüber hinaus sind Ihre Vorhersagefähigkeiten außerhalb des angegebenen Trainingsdatenintervalls wahrscheinlich sehr schlecht. Daher wird der Zielfunktion ein Regularisierungsterm hinzugefügt, wobei ein gewisses Gewicht mit dem Regularisierungsfaktor multipliziert wird - l_1, l_2 oder benutzerdefiniert. Im Fall von l_2, der wahrscheinlich einfacher zu verstehen ist, hat dies zur Folge, dass die großen Parameterwerte gezwungen werden, die so genannte Schrumpfung zu reduzieren. Sie können sich Regularisierung oder Schrumpfung vorstellen, um Ihren Algorithmus zu einer Lösung zu führen, die möglicherweise eine bessere Lösung ist.