Was sind die Mängel des Mean Absolute Percentage Error (MAPE)?

29

Der mittlere absolute prozentuale Fehler ( ) ist ein gängiges Genauigkeits- oder Fehlermaß für Zeitreihen oder andere Vorhersagen.

MAPE=100nt=1n|EINt-Ft|EINt%,

Dabei sind Istwerte und F t entsprechende Vorhersagen oder Vorhersagen.EINtFt

Die MAPE ist ein Prozentsatz, sodass wir sie leicht zwischen Serien vergleichen können und die Leute Prozentsätze leicht verstehen und interpretieren können.

Ich höre jedoch, dass die MAPE Nachteile hat. Ich möchte diese Nachteile besser verstehen, damit ich eine fundierte Entscheidung treffen kann, ob ich die MAPE oder eine Alternative wie die MSE ( ), die MAE ( ) oder die MASE ( ) verwenden .

S. Kolassa - Setzen Sie Monica wieder ein
quelle

Antworten:

45

Mängel der MAPE

  • Die MAPE in Prozent ist nur für Werte sinnvoll, bei denen Unterteilungen und Verhältnisse sinnvoll sind. Es ist beispielsweise nicht sinnvoll, Prozentsätze von Temperaturen zu berechnen, daher sollten Sie die MAPE nicht verwenden, um die Genauigkeit einer Temperaturvorhersage zu berechnen.

  • Wenn nur ein einzelnes Ist Null ist, ist EINt=0 , dann dividieren Sie durch Null bei der Berechnung der MAPE, die nicht definiert ist.

    Es stellt sich heraus, dass einige Prognosesoftware dennoch eine MAPE für solche Serien meldet, indem sie einfach Perioden mit Null-Istwerten fallen lässt ( Hoover, 2006 ). Unnötig zu sagen, dies ist nicht eine gute Idee, da es bedeutet , dass wir nicht alles über egal was wir prognostiziert , wenn die tatsächliche Null war - aber eine Prognose von Ft=100 und ein von Ft=1000 kann sehr haben verschiedene Implikationen. Überprüfen Sie also, was Ihre Software tut.

    Wenn nur wenige Nullen vorkommen, können Sie eine gewichtete MAPE ( Kolassa & Schütz, 2007 ) verwenden, die dennoch eigene Probleme hat. Dies gilt auch für die symmetrische MAPE ( Goodwin & Lawton, 1999 ).

  • MAPEs können zu mehr als 100% auftreten. Wenn Sie es vorziehen, mit Genauigkeit zu arbeiten, die einige Leute als 100% -MAPE definieren, kann dies zu einer negativen Genauigkeit führen, die die Leute möglicherweise nur schwer verstehen können. ( Nein, die Genauigkeit bei Null abzuschneiden ist keine gute Idee. )

  • Wenn wir streng positive Daten haben, die wir prognostizieren möchten (und darüber ist die MAPE ansonsten nicht sinnvoll), werden wir niemals unter Null prognostizieren. Die MAPE behandelt Overforecasts leider anders als Underforecasts: Ein Underforecast trägt niemals mehr als 100% bei (z. B. wenn Ft=0 und EINt=1 ), aber der Beitrag eines Overforecasts ist unbegrenzt (z. B. wenn Ft=5 und EINt=1 ). Dies bedeutet, dass der MAPE für voreingenommene Prognosen niedriger sein kann als für unvoreingenommene Prognosen. Eine Minimierung kann zu Vorhersagen führen, die niedrig sind.

Vor allem der letzte Punkt verdient ein wenig mehr Nachdenken. Dafür müssen wir einen Schritt zurücktreten.

Beachten Sie zunächst, dass wir das zukünftige Ergebnis weder genau kennen noch jemals kennen werden. Das zukünftige Ergebnis folgt also einer Wahrscheinlichkeitsverteilung. Unsere sogenannte Punktvorhersage Ft ist unser Versuch, das, was wir über die zukünftige Verteilung (dh die prädiktive Verteilung ) zum Zeitpunkt t wissen, unter Verwendung einer einzigen Zahl zusammenzufassen. Die MAPE ist dann ein Qualitätsmaß für eine ganze Folge solcher Einzahlenzusammenfassungen zukünftiger Verteilungen zu den Zeitpunkten t=1,,n .

Das Problem dabei ist, dass die Leute selten explizit sagen, was eine gute Ein-Zahlen-Zusammenfassung einer zukünftigen Distribution ist.

FtFt

Hier ist das Problem: Das Minimieren der MAPE wird uns normalerweise nicht dazu anregen, diese Erwartung auszugeben, sondern eine ganz andere One-Number-Summary ( McKenzie, 2011 , Kolassa, 2020 ). Dies geschieht aus zwei verschiedenen Gründen.

  • (μ=1,σ2=1)

    lognormal

    Die horizontalen Linien geben die optimalen Punktvorhersagen an, wobei "Optimalität" als Minimierung des erwarteten Fehlers für verschiedene Fehlermaßnahmen definiert ist.

    • Ft=exp(μ+σ22)4.5
    • Ft=expμ2.7
    • Ft=exp(μ-σ2)=1,0β=-1

    Wir sehen, dass die Asymmetrie der zukünftigen Verteilung zusammen mit der Tatsache, dass der MAPE Über- und Unterprognosen unterschiedlich bestraft, impliziert, dass die Minimierung des MAPE zu stark voreingenommenen Prognosen führen wird. ( Hier ist die Berechnung der optimalen Punktvorhersagen im Gammafall. )

  • EINtt

    sterben rollen

    In diesem Fall:

    • Ft=3.5

    • 3Ft4

    • Ft=2

    Wir sehen erneut, wie die Minimierung des MAPE aufgrund der unterschiedlichen Strafen für Über- und Unterprognosen zu einer verzerrten Prognose führen kann. In diesem Fall beruht das Problem nicht auf einer asymmetrischen Verteilung, sondern auf dem hohen Variationskoeffizienten unseres Datenerzeugungsprozesses.

    Dies ist eine einfache Illustration, die Sie verwenden können, um die Leute über die Mängel der MAPE zu unterrichten. Geben Sie Ihren Teilnehmern nur ein paar Würfel und lassen Sie sie rollen. Siehe Kolassa & Martin (2011) für weitere Informationen.

Verwandte CrossValidated-Fragen

R-Code

Lognormales Beispiel:

mm <- 1
ss.sq <- 1
SAPMediumGray <- "#999999"; SAPGold <- "#F0AB00"

set.seed(2013)
actuals <- rlnorm(100,meanlog=mm,sdlog=sqrt(ss.sq))

opar <- par(mar=c(3,2,0,0)+.1)
    plot(actuals,type="o",pch=21,cex=0.8,bg="black",xlab="",ylab="",xlim=c(0,150))
    abline(v=101,col=SAPMediumGray)

    xx <- seq(0,max(actuals),by=.1)
    polygon(c(101+150*dlnorm(xx,meanlog=mm,sdlog=sqrt(ss.sq)),
      rep(101,length(xx))),c(xx,rev(xx)),col="lightgray",border=NA)

    (min.Ese <- exp(mm+ss.sq/2))
    lines(c(101,150),rep(min.Ese,2),col=SAPGold,lwd=3,lty=2)

    (min.Eae <- exp(mm))
    lines(c(101,150),rep(min.Eae,2),col=SAPGold,lwd=3,lty=3)

    (min.Eape <- exp(mm-ss.sq))
    lines(c(101,150),rep(min.Eape,2),col=SAPGold,lwd=3,lty=4)
par(opar)

Beispiel für das Würfeln:

SAPMediumGray <- "#999999"; SAPGold <- "#F0AB00"

set.seed(2013)
actuals <- sample(x=1:6,size=100,replace=TRUE)

opar <- par(mar=c(3,2,0,0)+.1)
    plot(actuals,type="o",pch=21,cex=0.8,bg="black",xlab="",ylab="",xlim=c(0,150))
    abline(v=101,col=SAPMediumGray)

    min.Ese <- 3.5
    lines(c(101,150),rep(min.Ese,2),col=SAPGold,lwd=3,lty=2)

    min.Eape <- 2
    lines(c(101,150),rep(min.Eape,2),col=SAPGold,lwd=3,lty=4)
par(opar)

Verweise

Gneiting, T. Punktprognosen erstellen und auswerten . Journal of the American Statistical Association , 2011, 106, 746-762

Goodwin, P. & Lawton, R. Zur Asymmetrie der symmetrischen MAPE . International Journal of Forecasting , 1999, 15, 405-408

Hoover, J. Prognosegenauigkeit messen: Auslassungen in den heutigen Prognosemodulen und in der Software für die Bedarfsplanung . Vorausschau: The International Journal of Applied Forecasting , 2006, 4, 32-35

Kolassa, S. Warum die "beste" Punktvorhersage vom Fehler- oder Genauigkeitsmaß abhängt (Eingeladener Kommentar zum M4-Prognosewettbewerb). International Journal of Forecasting , 2020, 36 (1), 208-211

Kolassa, S. & Martin, R. Prozentuale Fehler können Ihren Tag ruinieren (und das Würfeln zeigt, wie) . Vorausschau: The International Journal of Applied Forecasting, 2011, 23, 21-29

Kolassa, S. & Schütz, W. Vorteile des MAD / Mean-Verhältnisses gegenüber der MAPE . Vorausschau: The International Journal of Applied Forecasting , 2007, 6, 40-43

McKenzie, J. Mittlerer absoluter prozentualer Fehler und Verzerrung der Wirtschaftsprognosen . Economics Letters , 2011, 113, 259 & ndash; 262

S. Kolassa - Setzen Sie Monica wieder ein
quelle
4
Ausgezeichnete Q & A. Ich würde hinzufügen, dass all diesen Metriken zwei große Annahmen zugrunde liegen - die Reihen sind iid und stationär. Wenn eine oder beide dieser Annahmen nicht erfüllt sind, was in der Praxis häufig vorkommt, ist ihre Gültigkeit fraglich.
Mike Hunter
Ich stimme dem Großteil zu, aber wäre es nicht legitim, mit Temperaturverhältnissen umzugehen, solange sie auf der richtigen Skala (dh der Kelvin-Skala) liegen?
Setzen Sie Monica am
2
@ Ben: In diesem Fall werden wir nicht durch Null teilen. Die Asymmetrie ist jedoch immer noch ein kleines Problem. Wenn Ihre Prognose 293 K und die tatsächliche 288 K beträgt, haben Sie einen APE von 1,74%. Wenn die Prognose 288 K beträgt, während die tatsächliche 293 K beträgt, beträgt der APE 1,71%, sodass die zweite Prognose besser aussieht, obwohl beide um 5 K abweichen . (Nach Bedarf in C oder F übersetzen.) Im Wesentlichen werden dieselben absoluten Fehler für niedrigere Ist-Werte stärker bestraft. Außerdem ist die Interpretation von prozentualen Fehlern für Temperaturen nicht einfach.
S. Kolassa - Wiedereinsetzung von Monica am
1
@Ben Prozentsätze der absoluten Temperatur sind legitim, aber Temperaturunterschiede sind leichter zu verstehen - zumindest, wenn wir uns mit Temperaturen im alltäglichen Bereich befassen; Bei der Vorhersage der Sternkerntemperatur kann es auch anders sein.
Pere