Ich versuche zu verstehen, was ein gesättigtes Modell ist. AFAIK ist es, wenn Sie so viele Funktionen wie Beobachtungen haben.
Können wir sagen, dass ein gesättigtes Modell ein Sonderfall eines extrem überpasseten Modells ist?
overfitting
Ricardo Cruz
quelle
quelle
Antworten:
@ Tomka hat recht. Ein gesättigtes Modell passt so viele Parameter wie möglich für einen bestimmten Satz von Prädiktoren an. Ob es jedoch überpasst ist oder nicht, hängt von der Anzahl der Beobachtungen für jedes einzelne Muster von Prädiktoren ab. Angenommen, Sie haben ein lineares Modell mit 100 Beobachtungen von auf und 100 auf . Dann ist das Modell gesättigt, aber sicherlich nicht überpasst. Wenn Sie jedoch eine Beobachtung von für das Modell ist gesättigt und passt perfekt - zweifellos † .y x=0 x=1 EY=β0+β1x y x=(0,1,2,3,4)T EY=β0+β1x+β2x2+β3x3+β4x4
Wenn Menschen über gesättigte Modelle mit so vielen Parametern wie Beobachtungen sprechen, wie auf der verlinkten Webseite und im Lebenslaufbeitrag, nehmen sie für jedes Prädiktormuster einen Kontext einer Beobachtung an. (Oder verwenden Sie "Beobachtung" manchmal anders - sind 100 Personen in einer 2 × 2-Kontingenztabelle 100 Beobachtungen von Personen oder 4 Beobachtungen von Zellfrequenzen?)
† Nehmen Sie "sicher" und "zweifellos" nicht wörtlich. Es ist möglich , für das erste Modell , dass so klein ist im Vergleich zu Sie besser vorhersagen würden , ohne zu versuchen , es zu schätzen, und umgekehrt für die zweiten.β1 VarY
quelle