Überanpassungsfrage

7

Würden Sie diese Überanpassung in Betracht ziehen?

Geben Sie hier die Bildbeschreibung ein

Nickolas Papanikolaou
quelle

Antworten:

0

Nein, es ist kein Beispiel für Überanpassung! Es wäre überpassend, wenn der gültige Verlust zunehmen würde, während der Trainingsverlust abnehmen würde.

Bearbeiten: die Antwort auf die zweite Frage Es lohnt sich zu überlegen, wie auc berechnet wird. Wir haben die Wahrscheinlichkeiten jeder Instanz, zur positiven Klasse zu gehören. Dann sortieren wir diese Wahrscheinlichkeiten. Wenn alle positiven Instanzen im ersten Teil der sortierten Liste erscheinen und alle negativen im zweiten Teil, dann ist auc 1 (die "perfekte Leistung" gemäß auc Beobachtung).

lÖss=- -1/.N.yichlÖG(p(yich))+(1- -yich)lÖG(1- -p(yich))yichp(yich)yich

Deshalb müssen wir wohl den Verlust bewerten.

Lana
quelle
Vielen Dank, Lana, obwohl der Unterschied im Verlust zwischen Training und Validierung nicht auf eine Überanpassung hinweist.
Nickolas Papanikolaou
@NickolasPapanikolaou Es ist normal, wenn der Verlust je nach Trainings- und Validierungssatz unterschiedlich ist, da das Modell mit den Daten vertraut wird, die es bereits im Trainingssatz gesehen hat (dies ist der Grund, warum normalerweise eine Aufteilung in Test, Validierung und Zug durchgeführt wird). Die Modellleistung der Testdaten zeigt jedoch, dass dieses Modell weiterhin einige nützliche Informationen extrahiert. Daher läuft der Lernprozess ab, ist jedoch langsamer als zuvor.
Lana
3

Nein, das ist nicht überpassend.

Erstens ist die AUC zwischen Zug- und Validierungssätzen genau gleich. Die Verluste können eine Lücke aufweisen, aber da der Validierungsverlust immer noch sinkt (auch wenn er langsam ist), sind Sie in Ordnung.

Javier
quelle
1

Was ist mit diesem? In diesem Fall steigt der Validierungsverlust, aber die AUC folgt nicht dem gleichen Muster. Welches ist der Verlust oder die Leistung?

Geben Sie hier die Bildbeschreibung ein

Nickolas Papanikolaou
quelle
Vergessen, die AUC auf dem Holdout-Test-Set zu erwähnen, ist 0,928
Nickolas Papanikolaou
Welchen Verlust hast du? Was ist die Verteilung der Klassen in Zug- und Testsätzen?
Lana
Ich habe diese Frage beantwortet und meine erste Antwort bearbeitet. In diesem Fall gibt es Überanpassung und Verlustleistung sollte bewertet werden
Lana
Ihre neue Frage und meine Ausgaben sind also das Argument gegen die Annahme von Javier: "Erstens ist die AUC zwischen Zug- und Validierungssätzen genau gleich." Es konnte nicht der Hauptgrund sein
Lana
Alle drei Sätze (Zug, Validierung, Test) sind vollständig ausgeglichen, ich habe binary_crossentropy verwendet. Ich glaube, das Problem hängt mit der AUC zusammen, denn wenn ich die Genauigkeit verwende, weichen die Kurven ab (Anzeichen einer Überanpassung), vielen Dank für Ihre Antworten
Nickolas Papanikolaou