Zwei Prognosen mit gleicher Trefferquote können unterschiedlich gut sein

Zwei Prognosen können beide dreimal richtig und einmal falsch liegen und trotzdem unterschiedlich gut sein. Entscheidend ist nicht nur, wie oft eine Prognose richtig liegt, sondern auch, wie nah ihre Wahrscheinlichkeit am tatsächlichen Ergebnis war. Dieser Beitrag zeigt mit einem kleinen fiktiven Modell, wie sich das mit dem Brier-Verlustwert messen lässt.

Vier Ereignisse, zwei Prognosen, dieselbe Trefferquote

Wir betrachten vier Ereignisse mit den Ergebnissen 1, 1, 1, 0: dreimal trat das Ereignis ein, einmal nicht. Zwei Prognosen haben vorab feststehende Wahrscheinlichkeiten abgegeben: Prognose A sagte für alle vier Ereignisse 75 Prozent voraus, Prognose B für alle vier 90 Prozent.

Beide Prognosen liegen bei denselben drei Ereignissen richtig: Sie halten das Eintreten für wahrscheinlicher als das Ausbleiben. Beim vierten Ereignis liegen beide falsch, weil dort nichts eintrat. Beide haben also dieselbe Trefferquote von drei aus vier.

Der Brier-Verlustwert misst die Abweichung pro Fall

Der Brier-Verlustwert vergleicht für jedes Ereignis die vorhergesagte Wahrscheinlichkeit mit dem tatsächlichen Ergebnis. Für einen einzelnen Fall lautet die Rechnung (p − y)²: p ist die vorhergesagte Wahrscheinlichkeit, y das Ergebnis, 1 für eingetreten und 0 für ausgeblieben. Über alle Fälle wird der Mittelwert gebildet. Ein Wert von 0 bedeutet perfekte Prognosen, eine feste 50-Prozent-Vorhersage ergibt für jeden der beiden möglichen Ausgänge 0,25. Niedriger ist besser.

Das NOAA/NWS-Glossar zur Prognoseprüfung definiert den Brier-Score für zwei mögliche Ausgänge als mittleren quadratischen Fehler. Hier verwenden wir diese binäre Version auf der Skala von 0 bis 1. Eine feste Vorhersage von 50 Prozent ergibt stets 0,25. Das ist ein Vergleichsmodell, keine allgemeine Grenze zwischen einer guten und einer schlechten Prognose; dafür ist auch ein geeigneter Vergleich zur Häufigkeit des Ereignisses nötig.

Dieselbe Trefferquote, unterschiedlich gute Prognosen

Für Prognose A lautet die Rechnung über die vier Fälle: (0,0625 + 0,0625 + 0,0625 + 0,5625) geteilt durch 4 = 0,1875. Für Prognose B: (0,0100 + 0,0100 + 0,0100 + 0,8100) geteilt durch 4 = 0,2100. Prognose A schneidet mit 0,1875 besser ab als Prognose B mit 0,2100, obwohl beide dreimal richtig lagen.

Warum? Beim vierten Ereignis, dem einzigen Fehltreffer, war As 75 Prozent näher am tatsächlichen Ausbleiben als Bs 90 Prozent. Ein hoher Fehlprozentwert wird vom quadrierten Fehler stärker bestraft als ein mäßiger. Das zeigt genau den Unterschied, den die Trefferquote allein übersieht.

Zum Vergleich: Eine neutrale Prognose mit 50 Prozent für alle vier Ereignisse würde (0,25 + 0,25 + 0,25 + 0,25) geteilt durch 4 = 0,2500 liefern. Beide getesteten Prognosen liegen unter diesem Niveau.

Was diese vier Fälle nicht belegen

Vier Ereignisse sind eine Winzprobe und beweisen keine reale Kalibrierung, keinen Vorteil und keinen Profit. Die Wahrscheinlichkeiten in diesem Modell sind frei gewählt, nicht aus echten Daten abgeleitet. Eine aussagekräftige Kalibrierungsprüfung braucht deutlich mehr Fälle und einen Vergleich über die Zeit. Auch sagt ein besserer Brier-Wert nichts darüber, ob ein Ereignis eintritt, und keine Wetteinsätze oder Gewinnversprechen gehören zu diesem Modell.

Weitere Grundlagen zum Lesen von Zahlen und Wahrscheinlichkeiten findest du in Zahlen verstehen und im Lexikon. Wenn du neu beim Thema bist, findest du einen geordneten Einstieg.

Quellen & Datenstand

Datenstand: 29.10.2026. Definition und Skala des binären Brier-Verlustwerts: NOAA/NWS, Glossary of Forecast Verification Metrics, Abschnitt „Brier Score“; Formel für den mittleren binären Fehler auch bei Gneiting, Balabdaoui und Raftery, Probabilistic forecasts, calibration and sharpness, JRSS B69(2007), S.256. Beide Quellen wurden für die verwendete Definition gelesen. Alle vier Ereignisse, Wahrscheinlichkeiten und Fehlerwerte sind eigene fiktive Rechenbeispiele ohne Bezug zu realen Spielen. Die Rangfolge gilt für diese vier Fälle und ist keine vollständige Prüfung der Prognosemodelle.