Ist die logistische Regression ein „semi-parametrisches“ Modell?

8

Ich sehe kürzlich einen Begriff "semi-parametrisch" in den Antworten meiner Frage , verstehe aber nicht wirklich, was dieser Begriff bedeutet.

Wikipedia sagt

In der Statistik ist ein semiparametrisches Modell ein statistisches Modell mit parametrischen und nichtparametrischen Komponenten.

Und gibt als Beispiel das Cox-Proportional-Hazards-Modell.

Ich sehe, dass das Cox-Proportional-Hazards-Modell und die logistische Regression sehr ähnlich sind. Warum sagen wir, dass eines semiparametrisch ist, aber nicht das andere?


Übrigens habe ich diese Antwort gefunden , sagt, dass GLM kein semiparametrisches Modell ist.

Haitao Du
quelle

Antworten:

13

Die logistische Regression ist nicht "semi-parametrisch". Es hat nur eine parametrische Komponente. Für das parametrische Modell ist die Anzahl der Parameter festgelegt und hängt nicht von der Anzahl der Trainingsdaten ab, sondern nur vom Modell selbst. Dies ist für die logistische Regression wahr , da , wenn Sie Variablen Sie haben Parameter das logistische Regressionsmodell zu definieren, und die Anzahl dieser Parameter nicht erhöht oder verringert basierend auf die Anzahl der Trainingsdaten. Beachten Sie, dass Sie für nicht parametrische Modelle auch Parameter haben, die Anzahl der Parameter jedoch nicht festgelegt ist und von der Anzahl der Trainingsbeispiele abhängt.nX1,,Xnn+1w0,,wn

Hossein
quelle
1
Dank kann ich "wenn die Anzahl der Parameter von der Anzahl der Zeilen in der Datenmatrix abhängt" verwenden, um festzustellen, ob ein Modell nicht parametrisch ist?
Haitao Du
2
Ja. Lesen Sie diesen Absatz des Kevin Murphy-Buches zum maschinellen Lernen, um weitere Erläuterungen zu erhalten: "Hat das Modell eine feste Anzahl von Parametern oder wächst die Anzahl der Parameter mit der Menge der Trainingsdaten? Ersteres wird als parametrisches Modell bezeichnet, und letzteres wird als nicht parametrisches Modell bezeichnet. "
Hossein
Was wäre dann ein "semi-parametrisches" Modell? Haben Sie sowohl eine feste als auch eine datenabhängige Anzahl von Parametern?
RM
Ja! Die partielle lineare Regression und das Proportional-Hazards-Modell sind zwei Beispiele.
Hossein
1
Warum sind neuronale Netze Ihrer Meinung nach nicht parametrisch? Ein neuronales Netz mit fester Struktur ist parametrisch.
Hossein