Auswahl unter den richtigen Bewertungsregeln

In den meisten Ressourcen zu den Regeln für die richtige Bewertung werden verschiedene Bewertungsregeln wie Protokollverlust, Brier-Punktzahl oder sphärische Bewertung erwähnt. Häufig geben sie jedoch keine Orientierungshilfe zu den Unterschieden zwischen ihnen. (Anlage A: Wikipedia .)

Die Auswahl des Modells, das die logarithmische Bewertung maximiert, entspricht der Auswahl des Maximum-Likelihood-Modells, das als gutes Argument für die Verwendung der logarithmischen Bewertung erscheint. Gibt es ähnliche Begründungen für Brier oder sphärische Scoring oder andere Scoring-Regeln? Warum sollte jemand eine dieser Methoden verwenden, anstatt eine logarithmische Bewertung vorzunehmen?

Warum sollte jemand eine dieser Methoden verwenden, anstatt eine logarithmische Bewertung vorzunehmen?

Am besten, wir unterscheiden immer ein Modell passend aus einer Entscheidung . In der Bayes'schen Methodik sollte die Modellbewertung und -auswahl immer unter Verwendung der Grenzwahrscheinlichkeit erfolgen . Anschließend verwenden Sie das Modell, um probabilistische Vorhersagen zu treffen, und Ihre Verlustfunktion zeigt Ihnen, wie Sie mit diesen Vorhersagen umgehen müssen.

Unglücklicherweise schreibt die Rechenleistung in der realen Welt oft vor, dass wir die Modellauswahl und die Entscheidungsfindung in Konflikt bringen und daher eine Verlustfunktion verwenden, um unsere Modelle anzupassen. Hier schleicht sich die Subjektivität bei der Modellauswahl ein, denn Sie müssen sich vorstellen, wie viel verschiedene Arten von Fehlern Sie kosten werden. Das klassische Beispiel ist eine Krebsdiagnose: Eine Überschätzung der Krebswahrscheinlichkeit ist nicht gut, aber eine Unterschätzung ist viel schlimmer.

Wenn Sie eine Anleitung zum Auswählen einer Bewertungsregel suchen, sollten Sie auch nach Anleitungen zum Auswählen einer Verlustfunktion oder zum Entwerfen einer Hilfsfunktion suchen, da die Literatur zu diesen beiden Themen meiner Meinung nach umfangreich ist voluminöser.