Was sind die Motive für die Verwendung der logistischen Funktion als Modell für die binäre Klassifizierung?

7

Die bei der binären Klassifizierung verwendete logistische Regression verwendet die logistische Funktion als Modell für die zugrunde liegende Wahrscheinlichkeit der Ergebnisvariablen.

Es hat einige nützliche und wesentliche Eigenschaften für die Anpassung eines solchen Modells. Zum Beispiel nimmt es monoton zu, es tendiert zu 1, wenn x gegen unendlich tendiert, es tendiert zu 0, wenn x gegen minus unendlich tendiert, es ist niemals 0 oder 1 (was eine positive Wahrscheinlichkeit für jedes Ergebnis unabhängig von der Eingabe zulässt). Es gibt jedoch andere Funktionsoptionen, die diese Eigenschaften erfüllen.

Wird die Logistikfunktion also nur zur Vereinfachung verwendet, oder gibt es andere Gründe, warum die Logistikfunktion die "richtige" oder nur geeignete Funktion ist?

cammil
quelle

Antworten:

9

Es gibt mehrere Gründe, die logistische Funktion als "Standard" -Methode zum Schätzen von Wahrscheinlichkeiten aus einer oder mehreren Variablen zu wählen. Hier sind ein paar:

  1. Historische, zB Dosis-Wirkungs-Kurven
  2. Bei Verwendung mit einer Regressionsspezifikation auf der rechten Seite eines Modells sind die Regressionseffekte dahingehend interpretierbar, dass sie mit Quotenverhältnissen für die einzelnen Effekte von Prädiktoren in Beziehung gesetzt werden können
  3. Wenn Sie mit einer multivariaten Normalitätsannahme für die Prädiktoren wie bei der linearen Diskriminanzanalyse beginnen, ergibt die Verwendung der Bayes-Regel zur Umkehrung der Konditionierung das logistische Modell
  4. Die Form passt häufig zu den tatsächlichen Daten

Bitte beachten Sie, dass die Logistik nicht zur Klassifizierung, sondern zur direkten Wahrscheinlichkeitsschätzung verwendet wird.

Frank Harrell
quelle
2

Ein technisches Merkmal der logistischen Verknüpfungsfunktion besteht darin, dass in Kombination mit der ML-Schätzung (oder dem posterioren Modus mit flachem Prior) die Gradientengleichung wird

ichxich(pich- -yich)=0

Das heißt, Ihre Residuen sind nicht mit den Kovariaten (Anmerkung: ist binär oder ). Dies ist analog zur alten Regression. Wenn Sie eine andere Verknüpfungsfunktion haben, wird die Gleichung durch Einbeziehung von "Gewichten" geändert, die davon abhängen, wie unterschiedlich die Verknüpfungsfunktion von der logistischen ist. Ein praktisches Merkmal davon ist, dass sich die angepassten Wahrscheinlichkeiten, wenn Sie einen Achsenabschnitt in Ihr Modell aufnehmen, zur Anzahl der "Erfolge" addieren (Beobachtungen mit ). Ähnliches gilt für Faktorvariablen.pich- -yichxichyich01yich=1

Wahrscheinlichkeitslogik
quelle