Angenommen, ich mache eine Reihe von Wahrscheinlichkeitsprognosen wie:
- 70% Wahrscheinlichkeit, dass das Umsatzwachstum im ersten Quartal 10-15% beträgt, 10% Wahrscheinlichkeit, dass das Umsatzwachstum> 15% beträgt, 20% Wahrscheinlichkeit, dass das Umsatzwachstum <10% beträgt
Was ist angesichts der tatsächlichen Daten der beste Weg, um meine Genauigkeit zu messen oder zu verfolgen? Brier Punktzahl?
Und kann ich meinen Brier-Score für verschiedene Arten von Prognosen mitteln? (z. B. Finden Sie den Brier-Score für die Vorhersage "Es besteht eine Regenwahrscheinlichkeit von 80%" und mitteln Sie ihn mit der Umsatzwachstumsprognose.)
1
Ich würde zögern, den Brier-Score für ordinale Ergebnisse mit 3+ Kategorien zu verwenden, wie hier, wo Verkäufe als niedrig / mittel / hoch klassifiziert werden können. Der Brier-Score behandelt jedes Ergebnis als äquidistant zu den anderen.
—
RobertF
Sind Ihre Daten von Natur aus ordinal, wie @RobertF anzunehmen scheint? Wenn ja, erhöht dies die Komplexität, wie er schreibt, und es wäre gut, wenn Sie dies in Ihrem Beitrag bearbeiten könnten. Wenn nicht, können Sie geeignete Bewertungsregeln wie den Brier oder andere verwenden. Und ja, Sie können sie mitteln.
—
Stephan Kolassa
Ich glaube, mein Beispiel verwendet Ordnungsdaten, aber ich verstehe nicht, was Sie unter "inhärent Ordnungszahl" verstehen. Ich könnte jedoch meine Prognose auf ein Umsatzwachstum von nur 12% ändern. Wenn ja, würde ich so etwas wie MAE verwenden? Der Grund, warum ich die Wahrscheinlichkeiten einbezogen habe, ist die Berücksichtigung von Variabilität und seltenen Ereignissen. Zum Beispiel könnte das erwartete Umsatzwachstum meiner Prognose 12% betragen, aber es könnte eine geringe Wahrscheinlichkeit für ein negatives Umsatzwachstum geben. Obwohl dies unwahrscheinlich ist, kann es hilfreich sein, die Wahrscheinlichkeit eines negativen Umsatzwachstums zu kennen. Also möchte ich das irgendwie in meiner Prognose widerspiegeln.
—
Emile
Mit "inhärent ordinal" meinte ich, ob Ihr zugrunde liegendes Problem ordinal ist oder ob das von Ihnen verwendete Beispiel zufällig ordinal ist. Anscheinend ist es das erstere.
—
Stephan Kolassa