Einheitliche Sicht auf die Schrumpfung: Welche Beziehung besteht (wenn überhaupt) zwischen Steins Paradoxon, Gratregression und zufälligen Effekten in gemischten Modellen?

Betrachten Sie die folgenden drei Phänomene.

1. Steins Paradoxon: Angesichts einiger Daten aus der multivariaten Normalverteilung in ist der Stichprobenmittelwert kein sehr guter Schätzer für den wahren Mittelwert. Man kann eine Schätzung mit kleinerem mittleren Fehlerquadrat erhalten, wenn man alle Koordinaten des Stichprobenmittelwerts gegen Null schrumpft [oder gegen ihren Mittelwert oder gegen irgendeinen Wert, wenn ich das richtig verstehe].$\mathbb R^n, \: n\ge 3$

   Anmerkung: In der Regel wird Steins Paradoxon formuliert, indem nur ein einziger Datenpunkt aus berücksichtigt wird . Bitte korrigieren Sie mich, wenn dies entscheidend ist und meine obige Formulierung nicht korrekt ist.$\mathbb R^n$

2. Ridge-Regression: Bei einigen abhängigen Variablen und einigen unabhängigen Variablen tendiert die Standard-Regression um die Daten zu überbeanspruchen und zu schlechter Out-of-Sample-Leistung zu führen. Man kann die Überanpassung oft reduzieren, indem man gegen Null schrumpft : .$\mathbf y$$\mathbf X$$\beta = (\mathbf X^\top \mathbf X)^{-1} \mathbf X^\top \mathbf y$$\beta$$\beta = (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1} \mathbf X^\top \mathbf y$

3. Zufällige Effekte in mehrstufigen / gemischten Modellen: Wenn eine abhängige Variable (z. B. die Größe des Schülers) von bestimmten kategorialen Prädiktoren (z. B. Schulkennung und Geschlecht des Schülers) abhängt, wird häufig empfohlen, einige Prädiktoren als „zufällig“ zu behandeln, dh dies anzunehmen Die durchschnittliche Schülergröße in jeder Schule ergibt sich aus einer bestimmten zugrunde liegenden Normalverteilung. Dies führt dazu, dass die Schätzungen der mittleren Größe pro Schule in Richtung des globalen Mittelwerts gesenkt werden.$y$

Ich habe das Gefühl, dass all dies verschiedene Aspekte desselben "Schrumpfungs" -Phänomens sind, aber ich bin mir nicht sicher und es fehlt mir mit Sicherheit eine gute Intuition dafür. Meine Hauptfrage lautet also: Gibt es tatsächlich eine tiefe Ähnlichkeit zwischen diesen drei Dingen, oder ist es nur ein oberflächlicher Anschein? Was ist das gemeinsame Thema hier? Was ist die richtige Intuition?

Außerdem sind hier einige Teile dieses Puzzles, die für mich nicht wirklich zusammenpassen:

• Bei der Gratregression wird nicht gleichmäßig geschrumpft. Die Rippenschrumpfung hängt tatsächlich mit der Singulärwertzerlegung von , wobei Richtungen mit geringer Varianz stärker geschrumpft werden (siehe z. B. Die Elemente des statistischen Lernens 3.4.1). Aber James-Stein-Schätzer nimmt einfach den Stichprobenmittelwert und multipliziert ihn mit einem Skalierungsfaktor. Wie passt das zusammen?$\beta$$\mathbf X$

  Update: siehe James-Stein Estimator mit ungleichen Varianzen und hier zB Varianzen von Koeffizienten.$\beta$

• Der Stichprobenmittelwert ist in Dimensionen unter 3 optimal. Bedeutet dies, dass bei nur einem oder zwei Prädiktoren im Regressionsmodell die Kammregression immer schlechter ist als gewöhnliche kleinste Quadrate? Wenn ich es mir so überlege, kann ich mir keine Situation in 1D vorstellen (dh einfache, nicht-multiple Regression), in der ein Schrumpfen des Kamms von Vorteil wäre ...

  Update: Nein. Siehe Unter welchen Bedingungen kann die Kammregression eine Verbesserung gegenüber der normalen Regression der kleinsten Quadrate bewirken?

• Andererseits ist der Stichprobenmittelwert in Dimensionen über 3 immer suboptimal. Bedeutet dies, dass bei mehr als 3 Prädiktoren die Kammregression immer besser ist als die OLS, auch wenn alle Prädiktoren nicht korreliert sind (orthogonal)? Normalerweise ist die Gratregression durch Multikollinearität und die Notwendigkeit, den Term zu "stabilisieren", motiviert .$(\mathbf X^\top \mathbf X)^{-1}$

  Update: Ja! Siehe den gleichen Thread wie oben.

• Es gibt oft heftige Diskussionen darüber, ob verschiedene Faktoren in der ANOVA als feste oder zufällige Effekte einbezogen werden sollten. Sollten wir nach der gleichen Logik einen Faktor nicht immer als zufällig behandeln, wenn er mehr als zwei Ebenen hat (oder wenn es mehr als zwei Faktoren gibt? Jetzt bin ich verwirrt)?

  Update :?

---

Update: Ich habe einige exzellente Antworten erhalten, aber keine liefert genug Informationen, so dass ich die Frage "offen" lassen werde. Ich kann versprechen, einer neuen Antwort eine Prämie von mindestens 100 Punkten zu verleihen , die die bestehenden Antworten übertrifft. Ich bin hauptsächlich auf der Suche nach einer einheitlichen Sichtweise, die erklären könnte, wie sich das allgemeine Phänomen des Schrumpfens in diesen verschiedenen Zusammenhängen manifestiert, und die Hauptunterschiede zwischen ihnen aufzeigen könnte.

Zusammenhang zwischen James-Stein-Schätzer und Gratregression

$\mathbf y$$\boldsymbol \theta$$m$${\mathbf y} \sim N({\boldsymbol \theta}, \sigma^2 I)$ In Bezugdie ridge regression, können wir abschätzenθviaminθ‖y-θ‖2+λ‖θ‖2, wobei die Lösung θ ridge=

$$\widehat{\boldsymbol \theta}_{JS} = \left( 1 - \frac{(m-2) \sigma^2}{\|{\mathbf y}\|^2} \right) {\mathbf y}.$$ $\boldsymbol \theta$$\min_{\boldsymbol{\theta}} \|\mathbf{y}-\boldsymbol{\theta}\|^2 + \lambda\|\boldsymbol{\theta}\|^2 ,$ Es ist leicht zu erkennen, dass die beiden Schätzer in derselben Form vorliegen, aber wir müssenσ2im James-Stein-Schätzerschätzenundλin der Gratregression durch Kreuzvalidierungbestimmen. $$\widehat{\boldsymbol \theta}_{\mathrm{ridge}} = \frac{1}{1+\lambda}\mathbf y.$$ $\sigma^2$$\lambda$

Verbindung zwischen James-Stein-Schätzer und Zufallseffektmodellen

Lassen Sie uns zuerst die Modelle für gemischte / zufällige Effekte in der Genetik diskutieren. Das Modell ist Wenn es keine festen Wirkungen und ist Z = I , wird das Modell y = θ + e , θ ~ N ( 0 ,

$$\mathbf {y}=\mathbf {X}\boldsymbol{\beta} + \boldsymbol{Z\theta}+\mathbf {e}, \boldsymbol{\theta}\sim N(\mathbf{0},\sigma^2_{\theta} I), \textbf{e}\sim N(\mathbf{0},\sigma^2 I).$$ $\mathbf {Z}=I$ was der Einstellung des James-Stein-Schätzers mit einer Bayes'schen Idee entspricht. $$\mathbf {y}=\boldsymbol{\theta}+\mathbf {e}, \boldsymbol{\theta}\sim N(\mathbf{0},\sigma^2_{\theta} I), \textbf{e}\sim N(\mathbf{0},\sigma^2 I),$$

Zusammenhang zwischen Zufallseffektmodellen und Gratregression

Wenn wir Modelle auf den zufälligen Effekten konzentrieren oben, Die Schätzung entspricht , das Problem zu lösen min θ ‖ y - Z θ ‖ 2 + λ ‖ θ ‖ 2 bei λ = σ 2 /

$$\mathbf {y}=\mathbf {Z\theta}+\mathbf {e}, \boldsymbol{\theta}\sim N(\mathbf{0},\sigma^2_{\theta} I), \textbf{e}\sim N(\mathbf{0},\sigma^2 I).$$ $$\min_{\boldsymbol{\theta}} \|\mathbf{y}-\mathbf {Z\theta}\|^2 + \lambda\|\boldsymbol{\theta}\|^2$$ . Den Beweis finden Sie in Kapitel 3 derMustererkennung und des maschinellen Lernens.$\lambda=\sigma^2/\sigma_{\theta}^2$

Zusammenhang zwischen (mehrstufigen) Zufallseffektmodellen und denen in der Genetik

In dem Zufallseffekt - Modell über die Abmessung von ist m × 1 , und die von Z ist m × p . Wenn wir vektorisieren Z als ( m p ) × 1 , und wiederholen y entsprechend, dann haben wir die hierarchische / gruppierten Struktur, p - Cluster und jeweils mit m - Einheiten. Wenn wir v e c ( Z ) bei wiederholtem y zurückführen, können wir den zufälligen Effekt von Z auf $\mathbf y$$m\times 1,$$\mathbf Z$$m \times p$$\mathbf Z$$(mp)\times 1,$$\mathbf y$$p$$m$$\mathrm{vec}(\mathbf Z)$$\mathbf y$$Z$$y$ für jeden Cluster, obwohl es eine Art umgekehrte Regression ist.

Anerkennung : Die ersten drei Punkte werden größtenteils aus diesen beiden chinesischen Artikeln 1 , 2 gelernt .

$^1$$^2$$^3$$^4$

All dies fällt unter die Ägide der Entscheidungstheorie. Eine erschöpfende, aber eher unfreundliche Referenz ist die "Theorie der Punktschätzung" von Lehmann und Casella. Vielleicht können andere mit freundlicheren Referenzen mitreden?

---

$^1$$\delta_1(X)$$\theta \in \Omega$$X$$\delta_2(X)$$\theta \in \Omega$$\delta_1$$\delta_2$$\delta_2$$\delta_1$$\theta$$\delta_2$ überall im Parameterraum.

$^2$$\theta$$\pi$$\delta(X) = E(\theta | X)$$\Omega$

$$\pi_{\theta_0} = \begin{cases} 1 & \mbox{if } \theta = \theta_0 \\ 0 & \theta \neq \theta_0 \end{cases}$$ $\theta_0$$\delta(X) = \theta_0$$\theta_0$$\theta_0$

$^3$

$^4$$1/\lambda^2$$\beta$$\sigma^2$Der Fehlerterm ist die konstante Funktion (Lebesgue-Maß), die keine richtige (integrierbare) Wahrscheinlichkeitsverteilung ist. Dennoch kann gezeigt werden, dass viele solcher "teilweise" Bayes-Schätzer zulässig sind, indem gezeigt wird, dass sie die "Grenze" einer Folge von Schätzern sind, die richtige Bayes sind. Aber Beweise werden hier ziemlich verworren und heikel. Siehe "Generalized Bayes Estimators".

• James-Stein geht davon aus, dass die Dimension der Antwort mindestens 3 beträgt. In der Standard-Ridge-Regression ist die Antwort eindimensional. Sie verwechseln die Anzahl der Prädiktoren mit der Antwortdimension.

• Davon abgesehen sehe ich die Ähnlichkeit zwischen diesen Situationen, aber was genau zu tun ist, z. B. ob ein Faktor fest oder zufällig ist, wie viel Schrumpfung angewendet werden soll, hängt, wenn überhaupt, vom jeweiligen Datensatz ab. Je orthogonaler die Prädiktoren sind, desto weniger ist es sinnvoll, die Ridge-Regression der Standard-Regression vorzuziehen. Je größer die Anzahl der Parameter ist, desto sinnvoller ist es, den vorherigen Wert über Empirical Bayes aus dem Datensatz selbst zu extrahieren und dann zum Verkleinern der Parameterschätzungen zu verwenden. Je höher das Signal-Rausch-Verhältnis ist, desto geringer sind die Vorteile des Schrumpfens usw.

Wie andere gesagt haben, besteht die Verbindung zwischen den drei darin, wie Sie die vorherigen Informationen in die Messung einbeziehen.

1. Im Fall des Stein-Paradoxons wissen Sie, dass die wahre Korrelation zwischen den Eingabevariablen Null sein sollte (und alle möglichen Korrelationsmaße, da Sie Unabhängigkeit und nicht nur Unkorreliertheit implizieren möchten), daher können Sie eine Variable besser konstruieren als die einfache Stichprobenmittelwert und Unterdrückung der verschiedenen Korrelationsmaße. Im Bayes'schen Framework können Sie einen Prior erstellen, bei dem die Ereignisse, die zu einer Korrelation zwischen den Stichprobenmitteln führen, buchstäblich abgewogen werden und bei dem die anderen Ereignisse abgewogen werden.
2. Im Falle einer Gratregression möchten Sie eine gute Schätzung für den bedingten Erwartungswert E (y | x) finden. Im Prinzip ist dies ein unendlich dimensionales Problem und schlecht definiert, da wir nur eine endliche Anzahl von Messungen haben. Es ist jedoch bekannt, dass wir nach einer Continuos-Funktion suchen, die die Daten modelliert. Dies ist immer noch unklar, da es immer noch unendlich viele Möglichkeiten gibt, kontinuierliche Funktionen zu modellieren, aber die Menge ist etwas kleiner. Die Ridge-Regression ist nur eine einfache Möglichkeit, die möglichen Continuos-Funktionen zu sortieren, zu testen und bei einem endgültigen Freiheitsgrad anzuhalten. Eine Interpretation ist das Bild in der VC-Dimension: Während der Kammregression überprüfen Sie, ob ein Modell mit einem bestimmten Freiheitsgrad die den Daten inhärente Unsicherheit beschreibt. Praktisch misst es, wie gut die f (x, p1, p2 ... ) und das empirische P (p1, p2 ...) kann die vollständige P (y | x) -Verteilung und nicht nur E (y | x) rekonstruieren. Auf diese Weise werden die Modelle mit zu vielen Freiheitsgraden (die normalerweise zu stark angepasst werden) abgewogen, da mehr Parameter nach einem bestimmten Freiheitsgrad bedeuten, dass die Korrelationen zwischen den Parametern größer sind und folglich viel breiter P (f (x, p1, p2). ..)) Distributionen. Eine andere Interpretation ist, dass die ursprüngliche Verlustfunktion ebenfalls ein Messwert ist und dass die Bewertung einer bestimmten Stichprobe mit einer Unsicherheit verbunden ist, sodass die eigentliche Aufgabe darin besteht, die Verlustfunktion nicht zu minimieren, sondern ein Minimum zu finden, das erheblich niedriger ist als das andere (praktisch von einem Freiheitsgrad in einen anderen zu wechseln, ist eine Bayes'sche Entscheidung, daher ändert man die Anzahl der Parameter nur, wenn sie die Verlustfunktion signifikant verringern). Die Gratregression kann als Annäherung an diese beiden Bilder interpretiert werden (CV-Dimension, erwarteter Verlust). In einigen Fällen möchten Sie höhere Freiheitsgrade bevorzugen. In der Teilchenphysik untersuchen Sie beispielsweise die Teilchenkollision, bei der Sie erwarten, dass die erzeugte Anzahl von Teilchen eine Poisson-Verteilung ist, und rekonstruieren die Teilchenspur aus einem Bild (z. B. einem Foto) ) in einer Weise, die eine gegebene Anzahl von Spuren bevorzugt und Modelle unterdrückt, die eine kleinere oder höhere Spurnummerninterpretation des Bildes haben.
3. Der dritte Fall versucht auch, eine vorherige Information in die Messung zu implementieren, nämlich dass aus früheren Messungen bekannt ist, dass die Größe der Schüler sehr gut durch Gauß-Verteilungen und nicht beispielsweise durch einen Cauchy modelliert werden kann.

Kurz gesagt, die Antwort ist, dass Sie die Unsicherheit einer Messung verringern können, wenn Sie wissen, was Sie zu erwarten haben, und die Daten mit einigen vorherigen Daten (den vorherigen Informationen) kategorisieren. Diese vorherigen Daten schränken Ihre Modellierungsfunktion ein, die Sie zum Anpassen der Messungen verwenden. In einfachen Fällen können Sie Ihr Modell im Bayes'schen Rahmen aufschreiben, aber manchmal ist es unpraktisch, alle möglichen Continuos-Funktionen zu integrieren, um die zu finden, die den Bayes'schen Maximal-A-Posterior-Wert hat.

James Stein Schätzer und Ridge Regression

Erwägen

$\mathbf y=\mathbf{X}\beta+\mathbf{\epsilon}$

$\mathbf{\epsilon}\sim N(0,\sigma^2I)$

Die Lösung mit dem kleinsten Quadrat hat die Form

$\hat \beta= \mathbf S^{-1}\mathbf{X}'\mathbf{y}$$\mathbf S= \mathbf X'\mathbf X$

$\hat \beta$$\beta$$\sigma^2 \mathbf S^{-1}$

$\hat \beta \sim N(\beta, \sigma^2\mathbf S^{-1})$$\hat \beta$

James Stein

$\mathbf S=\mathbf I$$\beta$

$\beta \sim N(0,a\mathbf I)$

$\frac{a}{a+\sigma^2}\hat \beta=(1-\frac{\sigma^2}{a+\sigma^2})\hat \beta$$\frac{1}{a+\sigma^2}$$\frac{p-2}{\|\hat \beta\|^2}$

$\hat \beta=(1-\frac{p-2}{\|\hat \beta\|^2})\hat \beta$

Ridge Regression

$\mathbf X$$\mathbf X$$\beta=(\beta_1,\beta_2,\ldots, \beta_p)$$S_{ii}=1$$i=1,2,\ldots,p$

$\beta$$\lambda\geq0$

$\hat \beta (\lambda) =(\mathbf S+\lambda I)^{-1}\mathbf X'\mathbf y=(\mathbf S +\lambda\mathbf I)^{-1}\mathbf S \hat \beta$$\hat \beta$

Wie war $\hat \beta (\lambda)$

$\hat \beta \sim N(\hat \beta, \sigma^2\mathbf S^{-1})$

$\beta\sim N(0,\frac{\sigma^2}{\lambda}\mathbf I)$

Dann bekommen wir

$\text{E}\left(\beta|\hat \beta\right)=(\mathbf S +\lambda\mathbf I)^{-1}\mathbf S \hat \beta$

$\hat \beta (\lambda)$$\mathbf S=\mathbf I$$a=\frac{\sigma^2}{\lambda}$