Ist mein Wettermann korrekt?

Eine Frage, die mich einige Zeit beschäftigte und die ich nicht beantworten kann:

Jeden Tag gibt mein Wettermann eine prozentuale Regenwahrscheinlichkeit an (nehmen wir an, dass diese auf 9000 Stellen berechnet ist und er nie eine Zahl wiederholt hat). An jedem folgenden Tag regnet es oder es regnet nicht.

Ich habe jahrelange Daten - Chance gegen Regen oder nicht. Wenn dieser Wettermann heute Abend sagt, dass die Regenwahrscheinlichkeit von morgen X ist, wie hoch ist dann meine Vermutung, wie hoch die Regenwahrscheinlichkeit wirklich ist?

Tatsächlich denken Sie an ein Modell, bei dem die wahre Regenwahrscheinlichkeit p eine Funktion der vorhergesagten Wahrscheinlichkeit q ist : p = p (q ). Jedes Mal, wenn eine Vorhersage getroffen wird, beobachten Sie eine Realisierung einer Bernoulli-Variablen mit der Wahrscheinlichkeit p (q) des Erfolgs. Dies ist eine klassische logistische Regressionskonfiguration, wenn Sie bereit sind, die wahre Chance als lineare Kombination der Basisfunktionen f1 , f2 , ..., fk zu modellieren . das heißt, das Modell sagt

Logit ( p ) = b0 + b1 f1 (q) + b2 f2 (q) + ... + bk fk (q) + e

mit iid Fehlern e . Wenn Sie bezüglich der Form der Beziehung Agnostiker sind (obwohl, wenn der Wettermann ein gutes p (q) ist - q sollte einigermaßen klein sein), ziehen Sie in Betracht, eine Reihe von Splines als Basis zu verwenden. Die Ausgabe besteht wie üblich aus Schätzungen der Koeffizienten und einer Schätzung der Varianz von e . Wenn Sie eine zukünftige Vorhersage q haben , fügen Sie einfach den Wert mit den geschätzten Koeffizienten in das Modell ein, um eine Antwort auf Ihre Frage zu erhalten (und verwenden Sie die Varianz von e , um ein Vorhersageintervall um diese Antwort zu konstruieren, wenn Sie möchten).

Dieser Rahmen ist flexibel genug, um andere Faktoren einzubeziehen, beispielsweise die Möglichkeit, dass sich die Qualität der Vorhersagen im Laufe der Zeit ändert. Sie können damit auch Hypothesen testen, z. B. ob p = q ist (was der Wettermann implizit behauptet).

Der Vergleich der Wahrscheinlichkeitsprognose für ein binäres Ereignis (oder eine diskrete Zufallsvariable) kann anhand des Brier-Scores erfolgen

$\tau$$\tau$

Sie sollten sich ansehen, wie sich das Europäische Zentrum für mittelfristige Wettervorhersage ( EZMW) verhält .

Wenn in der Vorhersage "Regenwahrscheinlichkeit von X Prozent in (Fläche)" angegeben ist, bedeutet dies, dass das numerische Wettermodell für das betreffende Zeitintervall Regen in X Prozent der Fläche angegeben hat. Beispielsweise wäre es normalerweise genau, "100-prozentige Regenwahrscheinlichkeit in Nordamerika" vorherzusagen. Bedenken Sie, dass die Modelle die Dynamik gut und die Thermodynamik schlecht vorhersagen können.

Der Brier-Score- Ansatz ist sehr einfach und der direkteste Weg, die Genauigkeit eines vorhergesagten Ergebnisses im Vergleich zu einem binären Ereignis zu überprüfen.

Verlassen Sie sich nicht nur auf Formeln. Zeichnen Sie die Punktzahlen für verschiedene Zeiträume, Daten, Fehler, [gewichteten] Durchschnitt der Daten, Fehler. Es ist schwer zu sagen, was die visuelle Analyse ergeben könnte Wenn Sie etwas sehen, wissen Sie besser, welche Art von Hypothesentest durchzuführen ist, bis Sie sich die Daten angesehen haben.

Der Brier-Score geht von Natur aus von einer Stabilität der Schwankungen / zugrunde liegenden Verteilungen, von Wetter und Technologie aus, die die Vorhersagemodelle bestimmen, von mangelnder Linearität, von keiner Verzerrung, von mangelnder Änderung der Verzerrung ... Es wird davon ausgegangen, dass dasselbe allgemeine Maß an Genauigkeit / Ungenauigkeit konsistent ist. Wenn sich das Klima auf eine Weise ändert, die noch nicht verstanden wurde, würde die Genauigkeit der Wettervorhersagen sinken. Umgekehrt verfügen die Wissenschaftler, die dem Wetterdienst Informationen liefern, über mehr Ressourcen, vollständigere Modelle und mehr Rechenleistung, sodass die Genauigkeit der Vorhersagen möglicherweise zunimmt. Ein Blick auf die Fehler sagt etwas über die Stabilität, Linearität und Verzerrung der Vorhersagen aus. Möglicherweise verfügen Sie nicht über genügend Daten, um Trends zu erkennen. Sie werden vielleicht feststellen, dass Stabilität, Linearität und Voreingenommenheit keine Rolle spielen. Sie werden vielleicht feststellen, dass die Wettervorhersagen immer genauer werden ... oder auch nicht.

Wie wäre es, einfach die gegebenen Vorhersagen zu bündeln und die beobachteten Brüche als Ihre Schätzung für jeden Behälter zu nehmen?

Sie können dies auf ein kontinuierliches Modell verallgemeinern, indem Sie alle Beobachtungen um Ihren interessierenden Wert (sagen Sie die Vorhersage von morgen) herum mit einem Gaußschen Wert abwägen und den gewichteten Durchschnitt ermitteln.

Sie können eine Breite erraten, um einen bestimmten Bruchteil Ihrer Daten zu erhalten (oder sagen wir nie weniger als 100 Punkte für eine gute Schätzung). Alternativ können Sie eine Methode wie die Kreuzvalidierung der Maximalwahrscheinlichkeit verwenden, um die Gaußsche Breite zu ermitteln.

Möchten Sie wissen, ob seine Prognose genauer ist als eine andere Prognose? In diesem Fall können Sie sich grundlegende Genauigkeitsmetriken für die probabilistische Klassifizierung ansehen, z. B. Kreuzentropie, Präzision / Erinnerung, ROC-Kurven und den f1-Score.

Ob die Prognose objektiv gut ist, ist eine andere Sache. Eine Möglichkeit ist die Kalibrierung. Hatten ungefähr 90% der Tage, an denen er sagte, dass es zu 90% regnen würde, Regen? Nehmen Sie sich alle Tage, an denen er eine Vorhersage hat, und schätzen Sie die Regenwahrscheinlichkeit ein. Berechnen Sie für jeden Eimer den Prozentsatz der Tage, an denen es tatsächlich geregnet hat. Dann wird für jeden Schaufelplot die tatsächliche Regenwahrscheinlichkeit gegen seine Schätzung für die Regenwahrscheinlichkeit aufgetragen. Das Diagramm sieht wie eine gerade Linie aus, wenn die Vorhersage gut kalibriert ist.