Intuition dahinter, warum Steins Paradoxon nur in Dimensionen gilt

Steins Beispiel zeigt, dass die maximale Wahrscheinlichkeitsschätzung von normalverteilten Variablen mit den Mitteln und Varianzen (unter einer Quadratverlustfunktion) unzulässig ist, wenn f . Einen guten Beweis finden Sie im ersten Kapitel von Large-Scale Inference: Empirische Bayes-Methoden zur Abschätzung, Prüfung und Vorhersage von Bradley Effron.μ 1 , … , μ n 1 n ≥ $n$$\mu_1,\ldots,\mu_n$$1$$n\ge 3$

Das war für mich zunächst sehr überraschend, aber es steckt eine gewisse Intuition dahinter, warum man erwarten könnte, dass die Standardschätzung unzulässig ist (insbesondere, wenn , dann , wie in Steins Originalarbeit beschrieben (siehe unten).$x \sim \mathcal N(\mu,1)$$\mathbb{E}\|x\|^2\approx \|\mu\|^2+n$

Meine Frage ist vielmehr: Welche Eigenschaft des $n$ dimensionalen Raums (für $n\ge 3$ ) fehlt $\mathbb{R}^2$ was Steins Beispiel erleichtert? Mögliche Antworten könnten über die Krümmung der $n$ Kugel oder etwas völlig anderes sein.

Mit anderen Worten, warum ist das MLE in \ mathbb {R} ^ 2 zulässig $\mathbb{R}^2$?

Edit 1: Als Antwort auf @mpiktas Bedenken über 1.31 folgt ab 1.30:

Edit 2 : In dieser Arbeit beweist Stein, dass die MLE für N = 2 zulässig ist $N=2$.

Die Dichotomie zwischen den Fällen und für die Zulässigkeit der MLE des Mittelwerts einer dimensionalen multivariaten normalen Zufallsvariablen ist sicherlich schockierend.$d < 3$$d \geq 3$$d$

Es gibt ein weiteres sehr berühmtes Beispiel für Wahrscheinlichkeit und Statistik, bei dem zwischen den Fällen und eine Zweiteilung besteht . Dies ist die Wiederholung eines einfachen zufälligen Ganges auf dem Gitter . Das heißt, die dimensionale einfache Irrfahrt ist in 1 oder 2 Dimensionen wiederkehrend, in Dimensionen jedoch vorübergehend . Das zeitkontinuierliche Analogon (in Form der Brownschen Bewegung) gilt ebenfalls.$d < 3$$d \geq 3$$\mathbb{Z}^d$$d$$d \geq 3$

Es stellt sich heraus, dass die beiden eng miteinander verbunden sind.

Larry Brown hat bewiesen, dass die beiden Fragen im Wesentlichen gleichwertig sind. Das heißt, der beste invariante Schätzer eines dimensionalen multivariaten normalen Mittelwertvektors ist nur dann zulässig, wenn die dimensionale Brownsche Bewegung wiederholt auftritt.$\hat{\mu} \equiv \hat{\mu}(X) = X$$d$$d$

In der Tat gehen seine Ergebnisse viel weiter. Für jeden vernünftigen (dh generalisierten Bayes) Schätzer mit begrenztem (generalisiertem) Risiko gibt es eine explizite (!) Entsprechende dimensionale Diffusion, so dass die Estimator ist genau dann zulässig, wenn die entsprechende Diffusion wiederkehrend ist.$\tilde{\mu} \equiv \tilde{\mu}(X)$$L_2$$d$$\tilde{\mu}$

Die lokale Mittelwert dieser Diffusion ist im Wesentlichen die Diskrepanz zwischen den beiden Schätzern, dh und die Kovarianz der Diffusion ist . Daraus ist leicht zu ersehen, dass für den Fall der MLE Brownsche Bewegung wiederhergestellt (neu skaliert) wird.$\tilde{\mu} - \hat{\mu}$$2 I$$\tilde{\mu} = \hat{\mu} = X$

In gewissem Sinne können wir also die Frage der Zulässigkeit durch die Linse stochastischer Prozesse betrachten und gut untersuchte Eigenschaften von Diffusionen verwenden, um zu den gewünschten Schlussfolgerungen zu gelangen.

Verweise

1. L. Brown (1971). Zulässige Schätzer, wiederkehrende Diffusionen und unlösbare Randwertprobleme . Ann. Mathematik. Stat. vol. 42, nein. 3, S. 855–903.
2. RN Bhattacharya (1978). Kriterien für die Wiederholung und Existenz invarianter Maßnahmen für mehrdimensionale Diffusionen . Ann. Prob. vol. 6, nein. 4, 541–553.

@cardinal gab eine großartige Antwort (+1), aber das ganze Problem bleibt rätselhaft, es sei denn, man kennt die Beweise (und ich bin nicht). Ich denke also, die Frage bleibt, was ein intuitiver Grund dafür ist, dass Steins Paradoxon nicht in und .$\mathbb R$$\mathbb R^2$

Ich finde eine in Stephen Stigler, 1990, A Galtonian Perspective on Shrinkage Estimators, angebotene Regressionsperspektive sehr hilfreich . Betrachten Sie unabhängige Messungen , die jeweils einige zugrunde liegende (nicht beobachtete) und aus . Wenn wir das irgendwie kennen , könnten wir ein Streudiagramm von Paaren :$X_i$$\theta_i$$\mathcal N(\theta_i, 1)$$\theta_i$$(X_i, \theta_i)$

Die diagonale Linie entspricht einem Rauschen von Null und einer perfekten Schätzung; In der Realität ist das Rauschen nicht Null und daher sind die Punkte von der Diagonalen in horizontaler Richtung versetzt . Entsprechend kann als eine Regressionslinie von auf . Wir kennen jedoch und möchten ; schätzen , daher sollten wir lieber eine Regressionslinie von auf die eine andere Neigung aufweist, die horizontal vorgespannt ist , wie in der Figur gezeigt (gestrichelte Linie).$\theta = X$$\theta = X$$X$$\theta$$X$$\theta$$\theta$$X$

Zitat aus der Zeitung von Stigler:

Diese galtonische Perspektive auf das Stein-Paradox macht es nahezu transparent. Die "gewöhnlichen" Schätzer werden aus der theoretischen Regressionslinie von auf . Diese Linie wäre nützlich, wenn unser Ziel wäre, aus vorherzusagen , aber unser Problem ist das Gegenteil, nämlich aus Verwendung der Summe der quadratischen Fehler als ein Kriterium. Für dieses Kriterium sind die optimalen linearen Schätzer durch die Regressionslinie der kleinsten Quadrate von auf$\hat \theta_i^0 = X_i$$X$$\theta$$X$$\theta$$\theta$$X$$\sum (\theta_i - \hat \theta_i)^2$$\theta$$X$und die James-Stein- und Efron-Morris-Schätzer sind selbst Schätzer dieses optimalen linearen Schätzers. Die "gewöhnlichen" Schätzer werden aus der falschen Regressionslinie abgeleitet, die Schätzer von James-Stein und Efron-Morris aus Näherungen an die richtige Regressionslinie.

Und jetzt kommt der entscheidende Punkt (Hervorhebung hinzugefügt):

Wir können auch sehen , warum notwendig ist : wenn oder , die Linie der kleinsten Quadrate von an durch die Punkte passieren muß und damit für oder , das an jedem müssen zwei Regressionsgeraden (von auf und von auf ) übereinstimmen .$k\ge 3$$k=1$$2$$\theta$$X$$(X_i, \theta_i)$$k=1$$2$$X$$\theta$$\theta$$X$$X_i$

Ich denke, das macht sehr deutlich, was das Besondere an und .$k=1$$k=2$