Was ist der mathematische Unterschied zwischen zufälligen und festen Effekten?

26

Ich habe im Internet eine Menge über die Interpretation von Zufalls- und Fixeffekten gefunden. Es konnte jedoch keine Quelle gefunden werden, die Folgendes festhält:

Was ist der mathematische Unterschied zwischen zufälligen und festen Effekten?

Damit meine ich die mathematische Formulierung des Modells und die Art und Weise, wie Parameter geschätzt werden.

Witz
quelle
1
Nun, feste Effekte beeinflussen den Mittelwert einer gemeinsamen Verteilung und zufällige Effekte beeinflussen die Varianz- und Assoziationsstruktur. Was genau meinst du mit dem "mathematischen Unterschied"? Fragen Sie sich, wie sich die Wahrscheinlichkeit ändert? Kannst du genauer sein?
Makro
Von möglichem Interesse: Was ist der Unterschied zwischen Zufallseffekt-, Fixeffekt- und Randmodell?
gung - Wiedereinsetzung von Monica
1
Die Frage scheint den Hintergrund, von dem sie stammt, nicht zu unterscheiden. Diese Terminologie in Panel Data Economics unterscheidet sich von der in anderen Sozialwissenschaften, die Multilevel-Modelle verwenden. Die Frage bedarf einer weiteren Klärung. Andernfalls ist dies irreführend für diejenigen, die aus beiden Richtungen anreisen und nicht wissen, dass es in einem verwandten Bereich eine alternative Definition gibt.
Luchonacho

Antworten:

20

Das einfachste Modell mit zufälligen Effekten ist das Einweg-ANOVA - Modell mit zufälligen Effekten durch Beobachtungen gegeben, mit Verteilungsannahmen: ( y i j | μ i ) ~ iid N ( μ i , & sgr; 2 W ) ,yichj

(yichjμich)iidN(μich,σw2),j=1,,J,μichiidN(μ,σb2),ich=1,,ich.

Hier sind die zufälligen Effekte die . Sie sind Zufallsvariablen, während sie im ANOVA-Modell feste Zahlen mit festen Effekten sind.μich

Zum Beispiel zeichnet jeder von drei Technikern in einem Labor eine Reihe von Messungen auf, und y i j ist die j- te Messung von Techniker i . Nenne μ i den "wahren Mittelwert" der vom Techniker i erzeugten Reihe ; Dies ist ein etwas künstlichen Parameter können Sie sehen , μ i als der Mittelwert , dass Techniker i erhalten worden wäre , wenn er / sie eine große Reihe von Messungen aufgezeichnet hat.ich=1,2,3yichjjichμichichμichich

Wenn Sie , μ 2 , μ 3 auswerten möchten (z. B. um die Abweichung zwischen Operatoren zu bewerten ), müssen Sie das ANOVA-Modell mit festen Effekten verwenden.μ1μ2μ3

Sie müssen das ANOVA-Modell mit zufälligen Effekten verwenden, wenn Sie an den Varianzen und σ 2 b , die das Modell definieren, und der Gesamtvarianz σ 2 b + σ 2 w interessiert sind (siehe unten). Die Varianz σ 2 w ist die Varianz der von einem Techniker erzeugten Aufzeichnungen (es wird angenommen, dass sie für alle Techniker gleich ist), und σ 2 b wird die Varianz zwischen den Technikern genannt. Idealerweise sollten die Techniker zufällig ausgewählt werden.σw2σb2 σb2+σw2σw2σb2

Dieses Modell spiegelt die Varianzzerlegungsformel für eine Datenstichprobe wider: Bildbeschreibung hier eingeben

+

Das zeigt das ANOVA-Modell mit zufälligen Effekten: Bildbeschreibung hier eingeben

yichj(yichj)μichμichyichjyichjN(μ,σb2+σw2)

Sehen Sie sich hier Folie 24 und Folie 25 an, um bessere Bilder zu erhalten (Sie müssen die PDF-Datei speichern, um die Überlagerungen zu sehen, sehen Sie sich die Online-Version nicht an).

Stéphane Laurent
quelle
1
(+1) Sehr schöne Figuren!
Amöbe sagt Reinstate Monica
1
Danke @amoeba, mein Code für die Trägheitsmomente ist auf meinem Blog verfügbar
Stéphane Laurent
μσ
σ
σσμichσb2μichσw2
16

Grundsätzlich denke ich, ist der deutlichste Unterschied, wenn Sie einen Faktor als zufällig modellieren, dass angenommen wird, dass die Effekte aus einer gemeinsamen Normalverteilung stammen.

Wenn Sie beispielsweise ein Modell für Noten haben und die Daten Ihrer Schüler aus verschiedenen Schulen berücksichtigen möchten und die Schule als Zufallsfaktor modellieren, bedeutet dies, dass Sie davon ausgehen, dass die schulweiten Durchschnittswerte normal verteilt sind. Das bedeutet, dass zwei Variationsquellen modelliert werden: die schulinterne Variabilität der Schulnoten und die Variabilität zwischen den Schulen.

Dies führt zu einem sogenannten partiellen Pooling . Betrachten Sie zwei Extreme:

  1. Die Schule hat keine Auswirkungen (zwischen den Schulen ist die Variabilität Null). In diesem Fall wäre ein lineares Modell, das die Schule nicht berücksichtigt, optimal.
  2. Die Schulvariabilität ist größer als die Variabilität der Schüler. Dann müssen Sie im Grunde auf der Schulebene anstatt auf der Schülerebene arbeiten (weniger Stichproben). Dies ist im Grunde das Modell, bei dem Sie die Schule mit festen Effekten erklären. Dies kann problematisch sein, wenn Sie nur wenige Proben pro Schule haben.

Durch die Schätzung der Variabilität auf beiden Ebenen geht das gemischte Modell einen intelligenten Kompromiss zwischen diesen beiden Ansätzen ein. Insbesondere wenn Sie nicht so viele Schüler pro Schule haben, bedeutet dies, dass die Auswirkungen für die einzelnen Schulen nach Modell 2 gegenüber dem Gesamtmittel von Modell 1 abnehmen.

Das liegt daran, dass das Modell besagt, dass wenn Sie eine Schule mit zwei Schülern haben, was besser als "normal" für die Schulbevölkerung ist, es wahrscheinlich ist, dass ein Teil dieses Effekts dadurch erklärt wird, dass die Schule Glück bei der Wahl hatte von den beiden Studenten angeschaut. Dies geschieht nicht blind, sondern abhängig von der Schätzung der Variabilität innerhalb der Schule. Dies bedeutet auch, dass Effektstufen mit weniger Stichproben stärker zum Gesamtmittelwert gezogen werden als bei großen Schulen.

Wichtig ist, dass Sie auf der Ebene des Zufallsfaktors austauschbar sein müssen. Das bedeutet in diesem Fall, dass die Schulen (nach Ihrem Wissen) austauschbar sind und Sie nichts wissen, was sie auszeichnet (außer einer Art Ausweis). Wenn Sie zusätzliche Informationen haben, können Sie diese als zusätzlichen Faktor hinzufügen. Es reicht aus, wenn die Schulen unter der Bedingung austauschbar sind, dass andere Informationen berücksichtigt werden.

Zum Beispiel wäre es sinnvoll anzunehmen, dass in New York lebende 30-jährige Erwachsene geschlechtsabhängig austauschbar sind. Wenn Sie mehr Informationen haben (Alter, ethnische Zugehörigkeit, Bildung), ist es sinnvoll, diese Informationen ebenfalls aufzunehmen.

OTH Wenn Sie mit einer Kontrollgruppe und drei sehr unterschiedlichen Krankheitsgruppen studiert haben, ist es nicht sinnvoll, die Gruppe als zufällig zu modellieren, da bestimmte Krankheiten nicht austauschbar sind. Viele Leute mögen den Schrumpfeffekt jedoch so gut, dass sie immer noch für ein Zufallseffektmodell plädieren würden, aber das ist eine andere Geschichte.

Mir ist aufgefallen, dass ich mich nicht zu sehr mit Mathematik befasst habe, aber im Grunde besteht der Unterschied darin, dass das Zufallseffektmodell einen normalverteilten Fehler sowohl auf der Ebene der Schulen als auch auf der Ebene der Schüler schätzte, während das Modell mit festem Effekt den Fehler gerade noch aufweist das Niveau der Schüler. Insbesondere bedeutet dies, dass jede Schule ihre eigene Ebene hat, die nicht durch eine gemeinsame Verteilung mit den anderen Ebenen verbunden ist. Dies bedeutet auch, dass das feste Modell keine Extrapolation auf einen Schüler zulässt, der nicht in den Originaldaten enthalten ist, während das Zufallseffektmodell dies mit einer Variabilität tut, die die Summe aus dem Schülerniveau und der Variabilität des Schulniveaus ist. Wenn Sie speziell an der Wahrscheinlichkeit interessiert sind, könnten wir das in Angriff nehmen.

Erik
quelle
1
(+1) Eine großartige Antwort, die überraschenderweise unterbewertet ist. Ich bemerkte einen verwirrenden Tippfehler: "ausgeschlossen" sollte "enthalten" lauten. Abgesehen davon: Was wäre ein erwarteter praktischer Unterschied zwischen der Behandlung der Schule als zufälliger vs. fester Effekt? Ich verstehe, dass eine Behandlung als fix nicht die Vorhersage einer Leistung eines Schülers einer neuen Schule ermöglichen würde, aber was ist mit den Unterschieden bei den verfügbaren Daten? Angenommen, andere feste Effekte sind Geschlecht, Rasse und Gewicht der Schüler (was auch immer). Beeinflusst die Behandlung der Schule als zufällig / fest die Kraft der Haupteffekte oder Interaktionen von Interesse? Irgendwelche anderen Unterschiede?
Amöbe sagt Reinstate Monica
3
@amoeba Abgesehen von der Konsistenz kann die MSE für einen Koeffizienten auf Schülerebene in einem Zufallsmodell gegenüber einem Modell mit festen Effekten entweder mehr oder weniger effizient sein. Dies hängt unter anderem vom Grad der Korrelation zwischen Schüler X und dem Zufallseffekt, den Clusternummern usw. ab . Clark und Linzer 2012 hat die Simulationsergebnisse.
Conjugateprior
1
@conjugateprior Wow, vielen Dank für diesen Kommentar! Ich habe das verlinkte Papier gelesen und es ist die klarste Erklärung für das Problem, das ich gesehen habe. Ich habe einige Zeit damit verbracht, verschiedene Themen im Lebenslauf über feste / zufällige Effekte zu lesen, konnte aber nicht herausfinden, wann und warum man sie überlagern sollte. Das Lesen von C & L hat mir vieles klarer gemacht. Möchten Sie vielleicht irgendwo im Lebenslauf eine Antwort schreiben, in der die Zusammenfassung dieser und / oder verwandter Artikel präsentiert wird? Ich leite ein Kopfgeld für den am häufigsten gewählten Thread (gemischtes Modell) und werde Ihnen dort auch gerne ein weiteres auszeichnen.
Amöbe sagt Reinstate Monica
@Erik, ich habe bearbeitet, um "Partial Schooling" zu "Partial Pooling" zu korrigieren. Ich denke, es war ein Tippfehler, aber ich entschuldige mich, wenn es ein beabsichtigtes Wortspiel war!
Amöbe sagt Reinstate Monica
2

In der Wirtschaft sind solche Effekte individuelle Abschnitte (oder Konstanten), die nicht beobachtet werden, aber anhand von Paneldaten geschätzt werden können (wiederholte Beobachtung derselben Einheiten über die Zeit). Die Festeffekt-Schätzmethode ermöglicht die Korrelation zwischen den einheitsspezifischen Abschnitten und den unabhängigen erklärenden Variablen. Die zufälligen Effekte nicht. Die Kosten für die Verwendung der flexibleren festen Effekte bestehen darin, dass Sie den Koeffizienten für zeitinvariante Variablen (wie Geschlecht, Religion oder Rasse) nicht schätzen können.

NB Andere Felder haben ihre eigene Terminologie, was ziemlich verwirrend sein kann.

Dimitriy V. Masterov
quelle
(-1) dies sagt nichts über den mathematischen Unterschied zwischen festen und zufälligen Effekten aus
Makro
1
@Macro Einverstanden. Bevor dies auftaucht, wäre es hilfreich zu wissen, ob die Wirtschaftsterminologie dem entspricht, wonach das OP sucht. Ich hätte das klarer sagen sollen.
Dimitriy V. Masterov
OKAY. In diesem Fall könnte dies als Kommentar angemessener sein, würden Sie nicht sagen?
Makro
Die Aussage "Die Kosten für die Verwendung der flexibleren festen Effekte liegen darin, dass Sie den Koeffizienten für zeitinvariante Variablen nicht abschätzen können" ist einfach nicht wahr. Ich habe gerade eine Simulation durchgeführt, bei der Sie wiederholte Messungen an Einzelpersonen und einen einzelnen binären Prädiktor durchgeführt haben, der zeitlich nicht variiert. Wenn Sie einen festen Effekt für die ID und einen für den binären Prädiktor angeben, können Sie den Koeffizienten auf jeden Fall für den binären Prädiktor schätzen großer Standardfehler).
Makro
3
Andrew Gelman (der kein Ökonom ist) listet in seiner ANOVA-Arbeit 5 verschiedene Definitionen auf: stat.columbia.edu/~gelman/research/published/banova7.pdf .
Dimitriy V. Masterov
2

In einem Standard-Softwarepaket (zB R's lmer) ist der grundlegende Unterschied:

  • Fixe Effekte werden durch die maximale Wahrscheinlichkeit geschätzt (kleinste Quadrate für ein lineares Modell)
  • zufällige Effekte werden durch empirische Bayes geschätzt (kleinste Quadrate mit einer gewissen Schrumpfung für ein lineares Modell, wobei der Schrumpfungsparameter durch die maximale Wahrscheinlichkeit ausgewählt wird)

Wenn Sie Bayesianer sind (z. B. WinBUGS), gibt es keinen wirklichen Unterschied.

Simon Byrne
quelle
3
Ich bin mir nicht einig, dass es keinen Unterschied gibt. Sie können ein Bayes'sches Festeffektmodell mit allen Koeffizienten mit separaten Prioritäten oder ein Bayes'sches Mischmodell mit Hyperparametern anpassen.
Erik
Wenn Sie sind wie Bayes die Differenz sieht dies .
Conjugateprior
@ Simon es ist eine genaue und knusprige Antwort. Ich hätte es schon lange erwähnen sollen.
Subhash C. Davar
-3

@Joke Ein Modell mit festen Effekten impliziert, dass die durch eine Studie (oder ein Experiment) erzeugte Effektgröße festgelegt ist, dh, dass Wiederholungsmessungen für eine Intervention dieselbe Effektgröße ergeben. Vermutlich ändern sich die externen und internen Bedingungen für das Experiment nicht. Wenn Sie eine Reihe von Versuchen und / oder Studien unter verschiedenen Bedingungen durchgeführt haben, haben Sie unterschiedliche Effektgrößen. Die parametrischen Schätzungen von Mittelwert und Varianz für eine Reihe von Effektgrößen können realisiert werden, indem entweder angenommen wird, dass es sich um Festeffekte handelt, oder dass es sich um Zufallseffekte handelt (realisiert aus einer Superpopulation). Ich denke, dass es eine Sache ist, die mit Hilfe der mathematischen Statistik gelöst werden kann.

Subhash C. Davar
quelle