James-Stein-Schätzer mit ungleichen Varianzen

11

Jede Aussage, die ich vom James-Stein-Schätzer finde, geht davon aus, dass die zu schätzenden Zufallsvariablen dieselbe (und Einheits-) Varianz haben.

Alle diese Beispiele erwähnen jedoch auch, dass der JS-Schätzer verwendet werden kann, um Mengen zu schätzen, die nichts miteinander zu tun haben. Das Wikipedia-Beispiel ist die Lichtgeschwindigkeit, der Teekonsum in Taiwan und das Schweinegewicht in Montana. Vermutlich würden Ihre Messungen an diesen drei Größen jedoch unterschiedliche "wahre" Abweichungen aufweisen. Stellt dies ein Problem dar?

Dies hängt mit einem größeren konzeptionellen Problem zusammen, das ich im Zusammenhang mit dieser Frage nicht verstehe: James-Stein-Schätzer: Wie haben Efron und Morris den Schrumpfungsfaktor σ2 für ihr Baseball-Beispiel berechnet ? Wir berechnen den Schrumpfungsfaktor c wie folgt:

c=1(k3)σ2(yy¯)2

Intuitiv würde ich denken, dass der σ2 -Term tatsächlich σi2 - für jede geschätzte Größe unterschiedlich. In der Diskussion in dieser Frage geht es jedoch nur um die Verwendung der gepoolten Varianz ...

Ich würde mich sehr freuen, wenn jemand diese Verwirrung beseitigen könnte!

exp1orer
quelle
3
Wenn die Varianz können wir nur links multiplizieren mit D - 1 / 2 an das James-Stein Problem zu kommen. Wenn D sind nicht bekannt, aber jede „Beobachtung“ im Problem ist ein Stichprobenmittelwert auf der Grundlage der berechneten m i Beobachtungen , die wir schätzen D mit einigen D und hofft , dass wir auch eine James-Stein Situation, wenn wir multiplizieren vorab durch D - 1 / 2 statt.D=diag(σ12,,σn2)D1/2DmiDD^D^1/2
Kerl
2
@guy: Dies ist ein vernünftiger Vorschlag (+1), dies führt jedoch zu demselben Schrumpfungsfaktor für alle Variablen, während man Variablen je nach Varianz / Unsicherheit unterschiedlich schrumpfen möchte. Siehe die Antwort, die ich gerade gepostet habe.
Amöbe sagt Reinstate Monica
1
@amoeba Sicher; Ich habe nicht vorgeschlagen, dass mein Schätzer praktisch ist, sondern nur, dass er veranschaulicht, warum die Leute die in seinem zweiten Absatz erwähnten Dinge OP sagen.
Kerl

Antworten:

6

Diese Frage wurde in der klassischen Reihe von Arbeiten zum James-Stein-Schätzer im empirischen Bayes-Kontext, die in den 1970er Jahren von Efron & Morris verfasst wurden, explizit beantwortet. Ich beziehe mich hauptsächlich auf:

  1. Efron und Morris, 1973, Steins Schätzregel und ihre Konkurrenten - Ein empirischer Bayes-Ansatz

  2. Efron und Morris, 1975, Datenanalyse mit Steins Schätzer und seinen Verallgemeinerungen

  3. Efron und Morris, 1977, Steins Paradoxon in der Statistik

Das Papier von 1977 ist eine nichttechnische Darstellung, die man unbedingt lesen muss. Dort stellen sie das Baseball-Schlagbeispiel vor (das in dem Thread, mit dem Sie verlinkt haben, besprochen wird). In diesem Beispiel sollen die Beobachtungsvarianzen tatsächlich für alle Variablen gleich sein, und der Schrumpfungsfaktor c ist konstant.

Sie geben jedoch ein weiteres Beispiel an, bei dem die Toxoplasmoseraten in einer Reihe von Städten in El Salvador geschätzt werden. In jeder Stadt wurde eine unterschiedliche Anzahl von Personen befragt, so dass bei einzelnen Beobachtungen (Toxoplasmoserate in jeder Stadt) unterschiedliche Varianzen angenommen werden können (je geringer die Anzahl der befragten Personen ist, desto höher ist die Varianz). Die Intuition ist sicherlich, dass Datenpunkte mit geringer Varianz (geringe Unsicherheit) nicht so stark geschrumpft werden müssen wie Datenpunkte mit hoher Varianz (hohe Unsicherheit). Das Ergebnis ihrer Analyse ist in der folgenden Abbildung dargestellt, in der dies tatsächlich zu sehen ist:

enter image description here

Dieselben Daten und Analysen werden auch in dem viel technischeren Papier von 1975 in einer viel eleganteren Abbildung dargestellt (die einzelnen Abweichungen werden jedoch leider nicht angezeigt), siehe Abschnitt 3:

enter image description here

Dort präsentieren sie eine vereinfachte empirische Bayes-Behandlung, die wie folgt abläuft. Sei

Xi|θiN(θi,Di)θiN(0,A)
wobeiA unbekannt ist. Falls alleDi=1 identisch sind, ist die StandardEmpirical Bayes Behandlung abzuschätzen1/(1+A) als(k2)/Xj2 , und den a posteriori Mittelwert zu berechnenθi als θ i = ( 1 - 1
θ^i=(111+A)Xi=(1k2Xj2)Xi,
was nichts anderes als der James-Stein-Schätzer ist.

Wenn jetzt Di1 , dann ist die Aktualisierung der Bayes - Regel θ i = ( 1 - D i

θ^i=(1DiDi+A)Xi
und wir können den gleichen empirische Bayes Trick verwendenum abzuschätzenA, auch wenn es für keine geschlossene FormelAin diesem Fall (siehe Papier). Sie stellen jedoch fest, dassA^

... diese Regel reduziert sich nicht auf Steins, wenn alle Dj gleich sind, und wir verwenden stattdessen eine geringfügige Variante dieses Schätzers, die in [der Arbeit von 1973] abgeleitet wurde und sich auf Steins reduziert. Die Variante Regel schätzt einen anderen Wert A i für jede Stadt. Der Unterschied zwischen den Regeln ist in diesem Fall gering, aber es könnte wichtig sein, wenn k kleiner wäre.A^ik

Der relevante Abschnitt in der Veröffentlichung von 1973 ist Abschnitt 8, und es ist etwas schwieriger zu lesen. Interessanterweise haben sie dort einen expliziten Kommentar zu dem Vorschlag von @guy in den obigen Kommentaren:

x~i=Di1/2xi,θ~i=Di1/2θix~iN(θ~i,1)θi

θ^i=(1k2[Xj2/Dj])Xi.
Xi

A^i

Amöbe sagt Reinstate Monica
quelle