Gibt es einen Zusammenhang zwischen empirischen Bayes und zufälligen Effekten?

12

Ich habe kürzlich etwas über empirische Bayes gelesen (Casella, 1985, Eine Einführung in die empirische Bayes-Datenanalyse) und es sah einem Zufallseffektmodell sehr ähnlich. dass beide Schätzungen auf den globalen Mittelwert geschrumpft sind. Aber ich habe es nicht durchgelesen ...

Hat jemand einen Einblick in die Ähnlichkeit und Unterschiede zwischen ihnen?

bayesian estimation random-effects-model steins-phenomenon empirical-bayes anonym
quelle
1
Empirische Bayes können in Situationen mit oder ohne zufällige Effekte verwendet werden. EB bezieht sich einfach auf Bayes'sche Ansätze, die aus den Daten Parameter (manchmal als Hyperparameter bezeichnet) der vorherigen Verteilung schätzen Modellierung korrelierter Daten. Vielleicht bestand das Beispiel, das Sie gesehen haben, darin, ein Zufallseffektmodell mit empirischen Bayes zu schätzen, und deshalb verbinden Sie die beiden.
Makro
1
Casella, nicht Cassella!
Xi'an,
2
Ein wesentlicher Unterschied besteht darin, dass Zufallseffektmodelle Modelle sind (einschließlich eines Zufallseffekts), während empirische Bayes-Techniken Inferenztechniken sind: Sie können z. B. eine empirische Bayes-Schätzung für ein Zufallseffektmodell durchführen wo Sie eine reguläre Bayes-Methode verwenden könnten, nicht nur für Modelle mit zufälligen Effekten.
Xi'an,
1
Verwandte Frage: Einheitliche Sicht auf die Schrumpfung: Welche Beziehung besteht (wenn überhaupt) zwischen Steins Paradoxon, Gratregression und zufälligen Effekten in gemischten Modellen?
Amöbe sagt Reinstate Monica

Antworten:

5

Es gibt bereits Mitte der 1970er Jahre einen wirklich großartigen Artikel in JASA über den James-Stein-Schätzer und die empirische Bayes-Schätzung mit einer besonderen Anwendung zur Vorhersage von Durchschnittswerten von Baseballspielern. Die Einsicht, die ich dazu geben kann, ist das Ergebnis von James und Stein, die zur Überraschung der statistischen Welt zeigten, dass für eine multivariate Normalverteilung in drei oder mehr Dimensionen der MLE, der Vektor der Koordinatenmittelwerte, unzulässig ist.

Der Beweis wurde erbracht, indem gezeigt wurde, dass ein Schätzer, der den Mittelwertvektor in Richtung des Ursprungs verkleinert, auf der Grundlage des mittleren quadratischen Fehlers als Verlustfunktion einheitlich besser ist. Efron und Morris zeigten, dass in einem multivariaten Regressionsproblem unter Verwendung eines empirischen Bayes-Ansatzes die Schätzer, zu denen sie gelangen, Schrumpfungsschätzer des James-Stein-Typs sind. Sie verwenden diese Methode, um die Durchschnittswerte der Schläge für die letzte Saison von Baseballspielern der Major League auf der Grundlage ihres frühen Saisonergebnisses vorherzusagen. Die Schätzung bewegt den individuellen Durchschnitt aller Spieler auf den höchsten Durchschnitt aller Spieler.

Ich denke, dies erklärt, wie solche Schätzer in multivariaten linearen Modellen entstehen können. Es verbindet es nicht vollständig mit einem bestimmten Mixed-Effects-Modell, kann aber ein guter Weg in diese Richtung sein.

Einige Referenzen :

  1. B. Efron und C. Morris (1975), Datenanalyse unter Verwendung von Steins Schätzer und seiner Verallgemeinerungen , J. Amer. Stat. Assoc. vol. 70, nein. 350, 311–319.
  2. B. Efron und C. Morris (1973), Steins Schätzregel und ihre Konkurrenten - Ein empirischer Bayes-Ansatz , J. Amer. Stat. Assoc. vol. 68, nein. 341, 117–130.
  3. B. Efron und C. Morris (1977), Steins Paradoxon in der Statistik , Scientific American , vol. 236, nein. 5, 119–127.
  4. G. Casella (1985), Eine Einführung in die empirische Bayes-Datenanalyse , Amer. Statistiker , vol. 39, nein. 2, 83–87.
Michael R. Chernick
quelle
1
Nicht ganz verwandt, aber etwas mehr zu den (Un-) Zulässigkeitsergebnissen gibt es in dieser Frage .
Kardinal
1
Ich habe einen Link zu dem Artikel eingefügt, von dem ich glaube, dass Sie ihn als Punkt (1) bezeichnen, aber da Efron & Morris in diesem Zeitraum eine ganze Reihe von Artikeln zu verwandten Themen verfasst haben, ist es etwas unklar, welcher Sie tatsächlich waren in Bezug auf. Ich habe auch versucht, einige Formatierungen und Schreibweisen anzupassen. Bitte überprüfen Sie, ob ich versehentlich keine Fehler verursacht habe, und nehmen Sie weitere Änderungen vor oder führen Sie ein Rollback durch.
Kardinal
1
Ich habe Links zu maßgeblichen Archiven in den Beitrag eingefügt, aber einige oder alle Artikel befinden sich möglicherweise in anderen (weniger stabilen) Quellen im Internet.
Kardinal
1
Vielen Dank, dass Sie den Artikel von Efron und Morris veröffentlicht haben. Eine Erinnerung an bessere Zeiten, als Don Kessinger, Ron Santo und Billy Williams für die Cubs spielten und Scientific American noch lesenswerte Artikel veröffentlichte.
Ringold
1
Kürzlich erschien eine sehr aktuelle Monographie von Brad Efron, Large-scale Inference . Trotz seines Titels dreht sich alles um empirische Bayes! (Siehe hier für meine Rezension des Buches.)
Xi'an