Wie wird die Wahrscheinlichkeit einer probabilistischen Prognose gemessen?

Angenommen, ich mache eine Reihe von Wahrscheinlichkeitsprognosen wie:

70% Wahrscheinlichkeit, dass das Umsatzwachstum im ersten Quartal 10-15% beträgt, 10% Wahrscheinlichkeit, dass das Umsatzwachstum> 15% beträgt, 20% Wahrscheinlichkeit, dass das Umsatzwachstum <10% beträgt

Was ist angesichts der tatsächlichen Daten der beste Weg, um meine Genauigkeit zu messen oder zu verfolgen? Brier Punktzahl?

Und kann ich meinen Brier-Score für verschiedene Arten von Prognosen mitteln? (z. B. Finden Sie den Brier-Score für die Vorhersage "Es besteht eine Regenwahrscheinlichkeit von 80%" und mitteln Sie ihn mit der Umsatzwachstumsprognose.)

forecasting scoring-rules Emile
quelle

Ich würde zögern, den Brier-Score für ordinale Ergebnisse mit 3+ Kategorien zu verwenden, wie hier, wo Verkäufe als niedrig / mittel / hoch klassifiziert werden können. Der Brier-Score behandelt jedes Ergebnis als äquidistant zu den anderen.

RobertF

Sind Ihre Daten von Natur aus ordinal, wie @RobertF anzunehmen scheint? Wenn ja, erhöht dies die Komplexität, wie er schreibt, und es wäre gut, wenn Sie dies in Ihrem Beitrag bearbeiten könnten. Wenn nicht, können Sie geeignete Bewertungsregeln wie den Brier oder andere verwenden. Und ja, Sie können sie mitteln.

Stephan Kolassa

Ich glaube, mein Beispiel verwendet Ordnungsdaten, aber ich verstehe nicht, was Sie unter "inhärent Ordnungszahl" verstehen. Ich könnte jedoch meine Prognose auf ein Umsatzwachstum von nur 12% ändern. Wenn ja, würde ich so etwas wie MAE verwenden? Der Grund, warum ich die Wahrscheinlichkeiten einbezogen habe, ist die Berücksichtigung von Variabilität und seltenen Ereignissen. Zum Beispiel könnte das erwartete Umsatzwachstum meiner Prognose 12% betragen, aber es könnte eine geringe Wahrscheinlichkeit für ein negatives Umsatzwachstum geben. Obwohl dies unwahrscheinlich ist, kann es hilfreich sein, die Wahrscheinlichkeit eines negativen Umsatzwachstums zu kennen. Also möchte ich das irgendwie in meiner Prognose widerspiegeln.

Emile

Mit "inhärent ordinal" meinte ich, ob Ihr zugrunde liegendes Problem ordinal ist oder ob das von Ihnen verwendete Beispiel zufällig ordinal ist. Anscheinend ist es das erstere.

Stephan Kolassa

Antworten:

Ihr Kommentar klingt so, als ob Sie wirklich nach einer Dichteprognose anstatt nach einer Punktprognose suchen, dh Sie möchten die vollständige Wahrscheinlichkeitsverteilung der zukünftigen Ergebnisse prognostizieren. Dies ist eine sehr gute Idee. Dichteprognosen sind in der Finanz- oder ökonometrischen Prognose üblich, werden jedoch in anderen Lehrbüchern und Kursen für Prognosen leider nur selten behandelt. Tay & Wallis (2000, Journal of Forecasting ) geben eine nützliche frühe Umfrage.

Die gebräuchlichste Methode zur Auswertung von Dichtevorhersagen ist die Probability Integral Transform (PIT). Die kanonische Referenz ist Diebold, Gunther & Tay (1998, International Economic Review ) . Berkowitz (2001, Journal of Business & Economic Statistics ) und Bao, Lee & Saltoglu (2007, Journal of Forecasting ) geben Alternativen.

In letzter Zeit ist das Interesse an (richtigen) Bewertungsregeln gestiegen , wie dem von Ihnen erwähnten Brier-Score. Die Literatur umfasst Mitchell & Wallis (2011, Journal of Applied Econometrics ) und Gneiting, Balabdaoui & Raftery (2007, JRSS-B ) .

Schließlich gibt Gneiting & Katzfuss (2014, Jahresbericht über Statistiken und ihre Anwendung ) einen neueren Überblick über die Dichte- (oder Wahrscheinlichkeits-) Vorhersage, wobei der Schwerpunkt erneut auf Bewertungsregeln liegt.

Stephan Kolassa
quelle

Können Sie Laien die am besten geeignete Methode zur Erstellung einer Dichtevorhersage und die am besten geeigneten Bewertungsregeln für mein Beispiel erläutern? Oder Sie können auf einen Artikel / ein Buch verweisen. Ich denke, was ich frage, ist ein Rezept: Schritte zur Erstellung einer Dichte- / Wahrscheinlichkeitsprognose, dann einige andere Schritte zur Bewertung der Genauigkeit einzelner und / oder mehrerer Prognosen. Und im Idealfall kann ich die Berechnung mit einem normalen Taschenrechner durchführen (ohne spezielle Software). Wenn ein Integral erforderlich ist, welche Annäherungen kann ich machen, um die Gleichung zu vereinfachen. Auf der Suche nach etwas, das ich "auf der Rückseite des Umschlags" tun kann.

Emile

Ich würde diese Papiere gerne lesen, aber ehrlich gesagt sind sie über meinem Kopf.

Emile

Ah. Ich würde empfehlen, dass Sie sich ein Standard-Lehrbuch für Prognosen ansehen, z. B. Ord & Fildes, Grundsätze der Geschäftsprognose , Abschnitt 5.2 und andere, in dem Vorhersageintervalle unter Verwendung eines Normalverteilungsansatzes berechnet werden. Hyndman & Athanosopoulos decken leider keine Dichtevorhersagen ab. Was die Bewertungsregeln angeht, denke ich nicht, dass es in Ihrem Fall eine klare "beste" gibt - wählen Sie einfach eine aus, die Sie einfach implementieren können. Allerdings werden Sie wahrscheinlich zumindest normale Verteilungstabellen benötigen, also wäre es gut, wenn Sie sich R ...

Stephan Kolassa

... Hyndman & Athanasopoulos machen alles mit R, daher dient ihr Buch als nette Einführung in die Vorhersage mit R. Viel Glück!

Stephan Kolassa