Flexible Version der logistischen Regression

8

Ich versuche, eine logistische Regression anzupassen, bei der es einen großen Unterschied in der Anzahl der Datenpunkte in beiden Gruppen gibt (70 gegenüber 10.000). Ein statistischer Freund von mir hat mir gesagt, dass dies ein bekanntes Problem mit der logistischen Regression ist und dass es für diese Art von Zahlen die Daten überpasst und im Grunde nicht funktioniert. Wenn ich die Daten ablege und mit dem Modell vergleiche, ist es ziemlich offensichtlich, dass dies definitiv der Fall ist.

Ich frage mich, ob jemand eine bessere / flexiblere Methode zum Anpassen dieser Art von binären Antwortdaten kennt.

(Ich bin übrigens kein Statistiker, also mach es mir leicht!)

Stacey_bio
quelle
Mit zwei Gruppen meinen Sie Gruppen, die durch ihre binäre Antwort definiert sind? Wenn ja, sollten Sie sich das logistische Regressionsproblem wie ein Klassifizierungsproblem vorstellen. Für eine Gruppe haben Sie viele Informationen, um Variablen zu finden, die die Kategorie vorhersagen. Da die zweite Gruppe nur 70 Beobachtungen hat, haben Sie weniger Informationen, um zu sehen, was die zweite Gruppe von der ersten unterscheidet. Bei dieser Art von Problem ist die kleine Stichprobengröße in Gruppe 2 das Problem und nicht das Ungleichgewicht. Wenn Sie 700 gegen 100.000 hätten, wäre das Ungleichgewicht das gleiche, aber das Problem wäre nicht so schwierig.
Michael R. Chernick
2
Ich denke, das Problem der Überanpassung ist das klassische Problem, zu viele Funktionen mit zu wenig Daten zu verwenden. Die einzige Möglichkeit zur Überanpassung besteht darin, die Anzahl der Merkmale zu verringern oder die Probengröße zu erhöhen. Es hilft nicht, eine andere Methode zu finden.
Michael R. Chernick
"Mit zwei Gruppen meinen Sie Gruppen, die durch ihre binäre Antwort definiert sind?" - Ja!
Stacey_bio
Irgendwelche Vorschläge, wo ich anfangen könnte, wenn ich dies als Klassifizierungsproblem betrachte? Gibt es eine etablierte Methode, die mir bekannt sein könnte? Vielen Dank!
Stacey_bio
Ich denke, ich suche im Wesentlichen nach einer Methode der "probabilistischen binären Klassifikation", die für diese Art von Daten geeignet ist. Es wäre großartig, wenn es eine etablierte Methode
gäbe

Antworten:

4

Dass es nicht funktioniert, liegt nicht an der unausgeglichenen Größe der Gruppen, sondern an der Kleinheit einer der Gruppen. Das Downsampling der größeren Gruppe ist in Ordnung, hilft aber nicht bei der Überanpassung. (Übrigens gibt es eine einfache und elegante Möglichkeit, die Vorhersagen aus dem heruntergetasteten Modell zu korrigieren, indem ± log (r) zu den linearen Termen hinzugefügt wird, wobei r das Downsampling-Verhältnis ist.)

Wenn Überanpassung wirklich das Problem ist, müssen Sie entweder die Anzahl der Variablen verringern oder das Modell regulieren.

scellus
quelle
4

Dieses Problem tritt bei praktisch allen Klassifizierungsansätzen auf, unabhängig davon, ob es sich um logistische Regression, Support-Vektor-Klassifizierung oder Naive Bayes-Klassifizierung handelt. Es gibt zwei miteinander verflochtene Probleme:

  • Ein Modell, das auf einem unausgeglichenen Datensatz trainiert wurde, kann im Sinne einer Verzerrung zugunsten der Mehrheitsklasse überanpassen .

  • Bei der Bewertung dieses Modells anhand eines Testdatensatzes mit dem gleichen Grad an Ungleichgewicht kann die Klassifizierungsgenauigkeit ein äußerst irreführendes Leistungsmaß sein.

In der Literatur zu diesen Themen wurden drei Lösungsstrategien entwickelt:

  1. Sie können Guthaben auf dem Trainingssatz wiederherstellen Unterabtastung die große Klasse oder durch Überabtasten die kleine Klasse, Vorspannung in dem erst entstehen (durch @grotos siehe Reaktion) zu verhindern.

  2. Alternativ können Sie die Kosten für eine Fehlklassifizierung ändern, um zu verhindern, dass das Modell überhaupt eine Verzerrung erhält.

  3. Ein zusätzlicher Schutz besteht darin, die Genauigkeit durch die sogenannte ausgeglichene Genauigkeit zu ersetzen . Es ist definiert als das arithmetische Mittel der klassenspezifischen Genauigkeiten wobei und stellen die Genauigkeit dar, die an positiven bzw. negativen Beispielen erhalten wurde. Wenn der Klassifizierer in beiden Klassen gleich gut abschneidet, reduziert sich dieser Begriff auf die herkömmliche Genauigkeit (dh die Anzahl der korrekten Vorhersagen geteilt durch die Gesamtzahl der Vorhersagen). Wenn die herkömmliche Genauigkeit oben Chance ist dagegen nurπ+π-ϕ:=12(π++π),π+πDa der Klassifikator einen unausgeglichenen Testsatz nutzt, fällt die ausgeglichene Genauigkeit gegebenenfalls auf den Zufall (siehe Skizze, die ich aus meiner Antwort auf eine verwandte Frage entnommen habe ).

Genauigkeit vs. ausgewogene Genauigkeit

Wie in meiner vorherigen Antwort ausgeführt, würde ich empfehlen, mindestens zwei der oben genannten Ansätze zusammen zu betrachten. Zum Beispiel könnten Sie Ihre Minderheitsklasse überabtasten, um zu verhindern, dass Ihr Klassifikator eine Tendenz zugunsten der Mehrheitsklasse erwirbt. Wenn Sie anschließend die Leistung Ihres Klassifikators bewerten, können Sie die Genauigkeit durch die ausgeglichene Genauigkeit ersetzen.

Kay Brodersen
quelle
0

Meinen Sie die Verteilung der Antwort, dh Sie haben 70 Fälle von "JA" und 10000 Fälle von "NEIN"?

Wenn ja, ist dies ein häufiges Problem in Data Mining-Anwendungen. Stellen Sie sich eine Datenbank mit 1.000.000 Instanzen vor, in der nur etwa 1.000 Fälle "JA" sind. Eine Rücklaufquote von 1% und noch weniger ist bei einer Business Predictive Modeling üblich. Und wenn Sie eine Stichprobe auswählen, um ein Modell zu trainieren, ist dies ein großes Problem, insbesondere bei der Beurteilung der Stabilität eines bestimmten Modells.

Wir wählen eine Probe mit unterschiedlichen Proportionen aus. In dem oben genannten Beispiel wären dies 1000 Fälle von "JA" und beispielsweise 9000 Fälle von "NEIN". Dieser Ansatz liefert stabilere Modelle. Es muss jedoch an einer realen Probe getestet werden (die mit 1.000.000 Zeilen).

Ich habe es mit Data Mining-Modellen wie logistischer Regression, Entscheidungsbäumen usw. getestet. Ich habe es jedoch nicht mit "richtigen" [1] Statistikmodellen verwendet.

Sie können es als "Oversampling in Statistiken" suchen, das erste Ergebnis ist ziemlich gut: http://www.statssa.gov.za/isi2009/ScientificProgramme/IPMS/1621.pdf

[1] "richtig" bedeutet "kein Data Mining".

Grotos
quelle
0

Wenn Sie eine Klassifizierungstechnik wünschen, die unempfindlich gegenüber dem relativen Anteil von Beispielen aus verschiedenen Klassen ist, haben Support Vector Machines diese Eigenschaft ebenso wie Entscheidungsbäume.

fgregg
quelle