Ist ein gesättigtes Modell ein Sonderfall eines überpasseten Modells?

10

Ich versuche zu verstehen, was ein gesättigtes Modell ist. AFAIK ist es, wenn Sie so viele Funktionen wie Beobachtungen haben.

Können wir sagen, dass ein gesättigtes Modell ein Sonderfall eines extrem überpasseten Modells ist?

Ricardo Cruz
quelle
2
Nicht genau - ich denke, ein gesättigtes Modell hat alle seine Freiheitsgrade aufgebraucht. Es hängt vom Modell ab, was dies genau bedeutet. In einem logarithmisch linearen Modell wird es beispielsweise durch Einbeziehen aller Interaktionen in das Modell gesättigt, da df = 0 ist, aber es ist nicht überangepasst.
Tomka
Dieser Thead hat einige gute Diskussionen darüber: stats.stackexchange.com/questions/283/what-is-a-saturated-model
DL Dahly

Antworten:

6

@ Tomka hat recht. Ein gesättigtes Modell passt so viele Parameter wie möglich für einen bestimmten Satz von Prädiktoren an. Ob es jedoch überpasst ist oder nicht, hängt von der Anzahl der Beobachtungen für jedes einzelne Muster von Prädiktoren ab. Angenommen, Sie haben ein lineares Modell mit 100 Beobachtungen von auf und 100 auf . Dann ist das Modell gesättigt, aber sicherlich nicht überpasst. Wenn Sie jedoch eine Beobachtung von für das Modell ist gesättigt und passt perfekt - zweifellos .yx=0x=1EY=β0+β1xyx=(0,1,2,3,4)TEY=β0+β1x+β2x2+β3x3+β4x4

Wenn Menschen über gesättigte Modelle mit so vielen Parametern wie Beobachtungen sprechen, wie auf der verlinkten Webseite und im Lebenslaufbeitrag, nehmen sie für jedes Prädiktormuster einen Kontext einer Beobachtung an. (Oder verwenden Sie "Beobachtung" manchmal anders - sind 100 Personen in einer 2 × 2-Kontingenztabelle 100 Beobachtungen von Personen oder 4 Beobachtungen von Zellfrequenzen?)

† Nehmen Sie "sicher" und "zweifellos" nicht wörtlich. Es ist möglich , für das erste Modell , dass so klein ist im Vergleich zu Sie besser vorhersagen würden , ohne zu versuchen , es zu schätzen, und umgekehrt für die zweiten.β1VarY

Scortchi - Monica wieder einsetzen
quelle
Schönes Beispiel die Zuordnung von x = {0,1} zu 100 ys, danke. Würden Sie sagen, dass diese Definition dann nicht korrekt ist: stats.gla.ac.uk/glossary/?q=node/448 ?
Ricardo Cruz
Ich würde genau das sagen, was ich in meinem zweiten Absatz gesagt habe - es wird davon ausgegangen, dass der Kontext und eine allgemein anwendbare Definition besser sein könnten.
Scortchi - Monica wieder einsetzen