Was ist ein Unterschied zwischen Zufallseffekt-, Fixeffekt- und Randmodell?

49

Ich versuche meine statistischen Kenntnisse zu erweitern. Ich komme aus den Naturwissenschaften mit einem "rezeptbasierten" Ansatz für statistische Tests, bei dem wir sagen, dass es kontinuierlich und normalverteilt ist - OLS-Regression .

In meiner Lektüre bin ich auf folgende Begriffe gestoßen: Zufallseffektmodell, Modell mit festen Effekten, Randmodell. Meine Fragen sind:

  • Was sind sie in sehr einfachen Worten?
  • Was sind die Unterschiede zwischen ihnen?
  • Sind einige von ihnen Synonyme?
  • Wo fallen die traditionellen Tests wie OLS-Regression, ANOVA und ANCOVA in diese Klassifikation?

Ich versuche nur zu entscheiden, wo ich als nächstes mit dem Selbststudium anfangen soll.

N26
quelle
1
@gung: Die Antwort, der Sie das Kopfgeld verleihen werden, übertrifft bei weitem alle Antworten im "Haupt" -Thread auf die Unterschiede zwischen festen / zufälligen Effekten (im obigen Kommentar verlinkt). Diese Frage hat über 40 positive Bewertungen und eine akzeptierte Antwort mit 25 positiven Bewertungen, was leider nicht sehr hilfreich ist. Sollten wir diese Threads vielleicht zusammenführen? Ich schätze, dies würde bedeuten, dass das OP N26 die aufsteigenden Stimmen der Frage verlieren wird, aber sein Konto scheint sowieso nicht mehr aktiv zu sein. Ich bin mir nicht sicher, wie ich am besten vorgehen soll.
Amöbe sagt Reinstate Monica
1
Danke @amoeba, ich denke, das verdient auch mehr Aufmerksamkeit. Es scheint mir, dass diese Frage, obwohl sie ähnlich betitelt ist, tatsächlich etwas anders ist (und vielleicht falsch betitelt ist). Ich bin nicht befugt, diese zusammenzuführen. Ich habe gerade dort einen Kommentar zu diesem Thread eingefügt. Warum nicht die Frage aufwerfen, was mit diesen Threads auf meta.CV zu tun ist und wir werden sehen, was die Leute denken?
gung - Wiedereinsetzung von Monica

Antworten:

53

Diese Frage wurde an dieser Stelle teilweise wie folgt diskutiert, und die Meinungen scheinen gemischt zu sein.

Alle Begriffe beziehen sich im Allgemeinen auf Längs- / Panel- / Cluster- / Hierarchiedaten und wiederholte Kennzahlen (im Format der fortgeschrittenen Regression und der ANOVA), haben jedoch in unterschiedlichem Kontext mehrere Bedeutungen. Ich möchte die Frage nach meinem Wissen in Formeln beantworten.

Modell mit festen Effekten

  • In der Biostatistik kommen Fixeffekte, die in der folgenden Gleichung (*) als werden, normalerweise mit zufälligen Effekten zusammen. Das Fixed-Effects-Modell geht jedoch auch davon aus, dass die Beobachtungen wie bei der Querschnittsbestimmung unabhängig sind, wie in der Longitudinal Data Analysis von Hedeker und Gibbons (2006).β
  • In der Ökonometrie kann das Modell mit festen Effekten wie geschrieben werden: where ist ein fester (nicht zufälliger) Abschnitt für jedes Subjekt ( ), oder wir können auch einen festen Effekt als für jede wiederholte Messung ( ) haben; bezeichnet Kovariaten.
    yij=xijβ+ui+ϵij
    uiiujjxij
  • In der Metaanalyse geht das Fixed-Effect-Modell davon aus, dass der zugrunde liegende Effekt in allen Studien gleich ist (z. B. Mantel und Haenszel, 1959).

Random-Effects-Modell

  • In der Biostatistik kann das Zufallseffektmodell (Laird and Ware, 1982) als wobei angenommen wird, dass einer Verteilung folgt. bezeichnet Kovariaten für feste Effekte und bezeichnet Kovariaten für zufällige Effekte.
    (*)yij=xijβ+zijui+eij
    uixijzij
  • In der Ökonometrie darf sich das Zufallseffektmodell wie in der Biostatistik nur auf ein Zufallsschnittmodell beziehen , dh und ist ein Skalar.zij=1ui
  • In der Metaanalyse geht das Zufallseffektmodell von heterogenen Effekten in allen Studien aus (DerSimonian und Laird, 1986).

Randmodell

Das Randmodell wird im Allgemeinen mit dem Bedingungsmodell (Zufallseffektmodell) verglichen, und das erstere konzentriert sich auf den Populationsmittelwert (nehmen Sie als Beispiel das lineare Modell). während letztere sich mit dem bedingten MittelwertDie Interpretation und Skalierung der Regressionskoeffizienten zwischen Randmodell und Zufallseffektmodell wäre bei nichtlinearen Modellen unterschiedlich (z. B. logistische Regression). Lassen , dann

E(yij)=xijβ,
E(yij|ui)=xijβ+zijui.
h(E(yij|ui))=xijβ+zijui
E(yij)=E(E(yij|ui))=E(h1(xijβ+zijui))h1(xijβ),
sei denn, die Verknüpfungsfunktion ist trivial die Identitätsverknüpfung (lineares Modell) ) oder (keine Zufallseffekte). Gute Beispiele sind verallgemeinerte Schätzgleichungen (GEE; Zeger, Liang und Albert, 1988) und marginalisierte Mehrebenenmodelle (Heagerty und Zeger, 2000).hui=0
Randel
quelle
Danke, Randel. Noch eine Frage zur Terminologie des "gemischten Modells". Soweit ich weiß, würde Ihre Gleichung (*) in der Biostatistik als gemischtes Modell bezeichnet, da sie sowohl zufällige als auch feste Effekte enthält. Ist das korrekt? Aber wird der Begriff "gemischtes Modell" auch in der Ökonometrie verwendet? Wenn ja, worauf bezieht es sich?
Amöbe sagt Reinstate Monica
Ja, Gleichung (*) wird in der (Bio-) Statistik auch als gemischtes Modell bezeichnet. Soweit ich weiß, nennt Ökonomen es möglicherweise nicht "gemischtes Modell", sondern "Zufallseffektmodell" oder "Zufallskoeffizientenmodell", wenn sie an Clusterheterogenität interessiert sind. Der einzige Unterschied besteht für mich in der Annahme, dass es sich um einen festen oder zufälligen cluster-spezifischen Effekt handelt.
Randel
1
@skan bezeichnet Kovariaten für zufällige Effekte. Es ist ein Vektor und ist die Transponierte. zijzij
Randel
1
Hier ist ein detailliertes Beispiel. Ich hoffe es hilft. @skan
Randel
1
@skan Es wird nicht empfohlen, beide zu haben, auch nicht genug. Hier ist ein perfektes Beispiel.
Randel
1

Korrigieren Sie mich, wenn ich hier falsch liege:

Konzeptionell gibt es vier mögliche Effekte: fester Schnittpunkt, fester Koeffizient, zufälliger Schnittpunkt, zufälliger Koeffizient. Die meisten Regressionsmodelle sind 'zufällige Effekte', daher haben sie zufällige Abschnitte und zufällige Koeffizienten. Der Begriff "zufälliger Effekt" wurde im Gegensatz zu "fester Effekt" verwendet.

'Fixed effect' ist, wenn eine Variable einen Teil des Samples, aber nicht alle beeinflusst. Die einfachste Version eines Festeffektmodells (konzeptionell) wäre eine Dummy-Variable für einen Festeffekt mit einem Binärwert. Diese Modelle haben einen einzelnen zufälligen Schnittpunkt, feste Effektkoeffizienten und zufällige variable Koeffizienten.

Die nächste Stufe der Komplikation (konzeptionell) ist, wenn der feste Effekt nicht binär, sondern nominal mit vielen Werten ist. In diesem Fall wird ein Modell mit vielen Abschnitten (einer für jeden der Nominalwerte) generiert. Hier erhalten Sie die klassischen "Mehrfachlinien" eines Paneldatenmodells , bei denen jede der "Optionen" einer festen Effektvariablen ihren eigenen Effekt erhält. Wenn Sie alle verschiedenen faktorspezifischen Datenreihen in eine einzelne Regression umwandeln (anstatt jeden Faktor des festen Effekts als eigene Regression zu definieren), können Sie die Varianz aller verschiedenen Effekte in einer Gleichung zusammenfassen Erhalte bessere (sicherere) Werte für alle deine Koeffizienten.

Komplikationsstufe drei liegt vor, wenn der „feste Effekt“ selbst eine Zufallsvariable ist, mit der Ausnahme, dass seine Effekte „fest“ sind und nur einen Teil der Stichprobe betreffen. Zu diesem Zeitpunkt hätte das Modell einen zufälligen Schnittpunkt, mehrere feste Schnittpunkte und mehrere zufällige Variablen. Ich denke, das ist ein sogenanntes Mixed-Effects-Modell?

Modelle mit 'gemischten Effekten' werden für die Multilevel-Modellierung (MLM) verwendet, da die 'festen Effekte' zum Verschachteln einer Teilmenge von Daten in einer anderen verwendet werden können. Diese Gruppierung kann mehrere Ebenen haben, wobei die Schüler in Klassenräumen und in Schulen verschachtelt sind. Die Schule wirkt sich fest auf die Klassenräume und die Klassenräume der Schüler aus. (Die Schule kann je nach Versuchsaufbau einen festen Effekt auf den Schüler haben oder auch nicht - nicht sicher)

Paneldatenmodelle sind Modelle mit gemischten Effekten, verwenden jedoch zwei Dimensionen für die Gruppierung, in der Regel Zeit und eine Art Kategorie.

Mox
quelle
Ich bin mir nicht sicher, was Sie unter "Feste Effekte umfassen 'Auswahlmengen': A oder B; ... Zu den zufälligen Effekten gehören Dinge wie das Körpergewicht" verstehen. Meinen Sie, feste Effekte gelten für diskrete Variablen, zufällige Effekte gelten für kontinuierliche Variablen? Ich bin mir auch nicht sicher, warum "die Verwendung mehrerer Dummy-Variablen für dasselbe statistisch unangemessen ist". Das Festeffektmodell in der Ökonometrie hat für jedes "Panel" eine Dummy-Variable. Ich kann "gemischten" Modellen nicht zustimmen ... Da sie durch Gruppierung 'feste' Abschnitte haben, haben sie auch keinen zufälligen Abschnitt mehr ". Viele Modelle mit gemischten Effekten haben einen zufälligen Schnittpunkt.
Randel
Mein Verständnis ist unvollkommen. Ich bearbeite meine Antwort und versuche es erneut.
Mox
Ist es möglich, dass eine Variable gleichzeitig als fester und als zufälliger Effekt auftritt?
Skan