Splines in GLM und GAM

12

Ist es falsch, dass Splines nur in GAM-Modellen und nicht in GLM-Modellen verfügbar sind? Ich habe das vor einiger Zeit gehört und mich gefragt, ob dies nur ein Missverständnis ist oder ob es eine Wahrheit ist. Hier ist eine Illustration: http://www.stats.uwo.ca/faculty/bellhouse/glm%20and%20gam.pdf

HeyJane
quelle

Antworten:

18

Du liegst falsch. Splines haben eine lineare Darstellung mit abgeleiteten Kovariaten. Ein quadratischer Trend ist beispielsweise nicht linear, kann jedoch in einem linearen Modell mit modelliert werden X ] = β 0 + β 1 X + β 2 X 2 , somit werden X und sein Quadrat in ein lineares Modell eingegeben.E[Y|X]=β0+β1X+β2X2X

Der Spline kann einfach als ausgefeilte Parametrisierung einer oder mehrerer kontinuierlich oder pseudokontinuierlich bewerteter Kovariaten angesehen werden.

AdamO
quelle
Danke für die Antwort! Wenn Sie also sagen, dass ich mich irre, meinen Sie, dass Splines in GLM verwendet werden können, richtig? Nicht ganz verstanden.
HeyJane
Ja absolut. In R können Sie das Paket importieren splinesund mit running bs(...)eine lineare Darstellung eines Splines mit einem benutzerdefinierten Polynomgrad und Knotenpunkten erstellen.
AdamO
7
Ich habe hier viel über diese Frage geschrieben: madrury.github.io/jekyll/update/statistics/2017/08/04/…
Matthew Drury
Vielen Dank an euch beide! Ich sehe es jetzt, AdamO! Tolle Seite, Matthew, ich werde alles lesen! :)
HeyJane
12

@ AdamOs Antwort ist richtig, da Spline-basierte Anpassungen durchaus im Standard-GLM-Framework möglich sind. Das soll nicht heißen, dass GAMs nur ein Sonderfall von GLMs sind! Während es eine Reihe von Modellen gibt, die genau identisch sind und sowohl als GAM als auch als GLM mit einer Spline-Erweiterung der Kovariaten gerahmt werden können, gibt es einige GAM-Modelle, die im Standard-GLM-Framework nicht verfügbar sind.

Beispielsweise könnte man ein GAM-Modell unter Verwendung eines Glättungssplines für jede der Kovariaten anpassen. Dies führt im Grunde zu einer Spline-Erweiterung der Variablen, jedoch mit einem Nachteil für die zweiten Ableitungen. Dies führt zu einem Modell, das etwas außerhalb des Standard-GLM-Frameworks liegt.

Darüber hinaus wird es häufig als Standardverfahren betrachtet und in die meisten GAM-Bibliotheken eingebaut, um Glättungsparameter (dh Spline-Freiheitsgrade usw.) anzupassen, indem verschiedene Maße für Fehler außerhalb der Stichprobe optimiert werden, während die GLM-Formulierung typischerweise den kovariaten Raum berücksichtigt Fest.

Cliff AB
quelle
Ich wünschte, ich könnte dich unterstützen, aber ich habe nicht genug Punkte. Vielen Dank für Ihren Beitrag. Ich bin mir nicht sicher, ob ich Ihren zweiten Absatz verstehe: Sie sagen, dass das Glätten von Splines nur mit GAM möglich ist? Könnten Sie näher erläutern, was genau der Unterschied zwischen einem normalen kubischen Spline und einem glättenden kubischen Spline ist? Ich verstehe, das ist viel zu fragen.
HeyJane
@ HeyJane: Wenn Sie sich die Wikipedia-Seite ansehen, werden Sie feststellen, dass diese Splines durch ihre zweite Ableitung bestraft werden. Dies ermöglicht es einem, die Glätte durch eine kontinuierliche Strafe anstatt durch ganzzahlige Freiheitsgrade zu steuern. Als solches handelt es sich eher um ein bestraftes Maximum-Likelihood-Problem als um ein Standard-Maximum-Likelihood-Problem. Dies bedeutet, dass Sie sie nicht direkt mit der glmFunktion von R kombinieren können, im Gegensatz zu Standard-Cubic-Splines mit einem glm.
Cliff AB
2
Aha! Ich verstehe es! Anstatt also mit einem regelmäßigen kubischen Spline zu sagen, dass wir nur möchten, dass die zweiten Ableitungen an den Knoten gleich sind, möchten wir der zweiten Ableitung eine Eigenschaft auferlegen, dh, dass die zweite Ableitung nicht zu hoch ist, daher der Strafbegriff?
HeyJane
@ HeyJane: Ja, ich würde sagen, das ist eine gute Zusammenfassung.
Cliff AB