Ich höre oft von der Bewertung der Leistung eines Klassifizierungsmodells, indem ich den Testsatz aushalte und ein Modell auf dem Trainingssatz trainiere. Erstellen Sie dann zwei Vektoren, einen für die vorhergesagten Werte und einen für die wahren Werte. Ein Vergleich ermöglicht es offensichtlich, die Leistung des Modells anhand seiner Vorhersagekraft anhand von Dingen wie F-Score, Kappa-Statistik, Precision & Recall, ROC-Kurven usw. zu beurteilen.
Wie ist dies im Vergleich zur Bewertung numerischer Vorhersagen wie Regression? Ich würde annehmen, dass Sie das Regressionsmodell auf dem Trainingssatz trainieren, es zur Vorhersage von Werten verwenden und diese vorhergesagten Werte dann mit den wahren Werten im Testsatz vergleichen könnten. Offensichtlich müssten die Leistungsmaße unterschiedlich sein, da dies keine Klassifizierungsaufgabe ist. Die üblichen Residuen und -Statistiken sind offensichtliche Messgrößen. Gibt es jedoch mehr / bessere Möglichkeiten, die Leistung für Regressionsmodelle zu bewerten? Es scheint, dass die Klassifizierung so viele Optionen hat, aber die Regression bleibt R 2 und Residuen überlassen .
quelle
Antworten:
Wie gesagt, wird typischerweise der mittlere quadratische Fehler verwendet. Sie berechnen Ihr Regressionsmodell basierend auf Ihrem Trainingssatz und bewerten seine Leistung mithilfe eines separaten Testsatzes (ein Satz auf Eingaben x und bekannten vorhergesagten Ausgaben y), indem Sie die MSE zwischen den Ausgaben des Testsatzes (y) und den angegebenen Ausgaben berechnen durch das Modell (f (x)) für die gleichen gegebenen Eingaben (x).
Alternativ können Sie folgende Metriken verwenden: Root Mean Squared Error, Relative Squared Error, Mean Absolute Error, Relative Absolute Error ... (Fragen Sie Google nach Definitionen.)
quelle