Dichotomer Fall

Für den dichotomen Fall einer probabilistischen Vorhersage gibt es ein skalares Maß für die Akkuratesse: den Brier-Score.

Dieser lässt sich charakteristisch in drei verschiedene Anteile additiv aufteilen (Murphy 1973). Welcher Summand sagt was aus?

Diskreter Fall (Mehr Möglichkeiten)

Für mehr als zwei mögliche Beobachtungen wird oft der Ranked Probability Score (RPS) genutzt:

Eine umfassende Bewertung eines Vorhersagers/ einer Vorhersagerin kann nur aufgrund der gemeinsamen Verteilung von Beobachtung und Vorhersagen vorgenommen werden. Das geht visuell, zum Beispiel mittels des Verlässlichkeitsdiagramms (reliability diagram) auf Basis der calibration-refinement-Faktorisierung. Im Folgenden sind einige dargestellt. Fehlende Beschriftungen sind an Ort und Stelle zu ziehen.