Gleiche Trefferquote kann unterschiedliche Prognosefehler verdecken

Können zwei Prognoselisten dieselbe Trefferquote von 16 aus 20 und dieselbe durchschnittliche Wahrscheinlichkeit von 0,75 haben, aber unterschiedlich gut sein? Ja. Entscheidend ist auch, ob die höheren Wahrscheinlichkeiten bei den Fällen liegen, die häufiger eintreten. Der Brier-Verlustwert macht die Abweichung messbar.

Was Wahrscheinlichkeit, Ergebnis und Fehler bedeuten

Eine Prognose gibt an, wie wahrscheinlich ein Ereignis ist. Hier schreiben wir die Wahrscheinlichkeit als Zahl zwischen 0 und 1: 0,60 entspricht 60 Prozent. Das Ergebnis ist entweder 1, wenn das Ereignis eingetreten ist, oder 0, wenn es nicht eingetreten ist.

Der Fehler ist der Abstand zwischen Prognose und Ergebnis. Beim Brier-Verlustwert wird dieser Abstand quadriert: (p − y)². Dabei steht p für die vorhergesagte Wahrscheinlichkeit und y für das Ergebnis. Durch das Quadrieren zählen Über- und Unterschätzungen als Fehler, und größere Abstände werden stärker gewichtet. Für mehrere Fälle addiert man die Fehler und bildet daraus den Durchschnitt. Ein niedrigerer Wert bedeutet in diesem Vergleich kleinere Fehler.

Das fiktive 20-Fall-Modell

Zunächst die Trefferregel: Eine Prognose gilt als Treffer, wenn die vorhergesagte Wahrscheinlichkeit mindestens 0,50 beträgt und das Ereignis eintritt. Alle Prognosen in beiden Listen liegen mit 0,60 und 0,90 über dieser Marke, sagen also jeweils Ja voraus.

Beide Listen beziehen sich auf dieselben zwanzig fiktiven Ereignisse: Sechzehn davon treten ein, vier nicht. Beide Listen enthalten zehn Prognosen mit 0,60 und zehn mit 0,90. Damit beträgt die mittlere Wahrscheinlichkeit in beiden Fällen 0,75. Auch die Trefferquote ist gleich: Beide Listen liegen bei 16 von 20 richtig, also 0,80.

Die Treffer verteilen sich jedoch anders:

• Liste A: Im 0,60-Band treten 6 von 10 Ereignissen ein. Im 0,90-Band sind es 10 von 10.
• Liste B: Im 0,60-Band treten 9 von 10 Ereignissen ein. Im 0,90-Band sind es 7 von 10.

Die Bänder sind im Modell vor den Ergebnissen festgelegt. Alle Fälle und Zahlen sind ausdrücklich fiktiv.

Die Brier-Rechnung im Bandvergleich

Für Liste A ergibt das 0,60-Band 6 × 0,16 + 4 × 0,36 = 2,40. Im 0,90-Band sind es 10 × 0,01 = 0,10. Zusammen sind das 2,50; geteilt durch 20 Fälle ergibt sich ein durchschnittlicher Brier-Verlustwert von 0,125.

Für Liste B ergeben die zehn Fälle im 0,60-Band 9 × 0,16 + 1 × 0,36 = 1,80. Im 0,90-Band sind es 7 × 0,01 + 3 × 0,81 = 2,50. Zusammen: 4,30. Geteilt durch 20 ergibt das 0,215.

So liest du die Tabelle: Die Brier-Summe addiert die quadrierten Fehler über alle Fälle eines Bands. Der durchschnittliche Verlustwert entsteht, wenn die Fehler aus beiden Bändern zusammengezählt und durch alle 20 Fälle geteilt werden.

Warum gleiche Trefferquote und Mittel täuschen

Liste B weist ihre höhere Zuversicht den unpassenderen Fällen zu: In ihrem 0,90-Band treten die Ereignisse nur in 7 von 10 Fällen ein. Bei den drei ausgebliebenen Ereignissen beträgt der quadrierte Fehler jeweils 0,81. Im 0,60-Band treten dagegen 9 von 10 Ereignissen ein. Dort liegt die Prognose häufig unter der beobachteten Häufigkeit.

Bei Liste A passt die Verteilung besser zu den beiden Bändern: Im 0,60-Band treten 6 von 10 Ereignissen ein, und im 0,90-Band alle zehn. Deshalb fällt der Brier-Verlustwert in diesem Modell niedriger aus. Das zeigt einen Unterschied, den die gemeinsame Trefferquote und der gemeinsame Durchschnitt allein nicht sichtbar machen.

Was dieses Modell nicht zeigt

Zwanzig Fälle sind eine sehr kleine Stichprobe. Das Beispiel belegt weder eine tatsächliche Kalibrierung noch einen Vorteil oder Profit. Die Wahrscheinlichkeiten wurden frei gewählt und nicht aus echten Daten abgeleitet. Auch die Ergebnisse erlauben keine Aussage über künftige Ereignisse. Es geht ausschließlich um den Vergleich der angegebenen Prognosen mit den fiktiven Ergebnissen, ohne Einsätze oder Gewinnannahmen.

Wichtig ist außerdem, die Wahrscheinlichkeitsbänder vor der Auswertung festzulegen. Werden die Grenzen erst nach Sichtung der Ergebnisse gewählt, kann der Vergleich irreführend werden.

Quellen & Datenstand

Der binäre Brier-Verlustwert ist der mittlere quadratische Fehler von Wahrscheinlichkeitsprognosen. Die Definition erläutert der US-amerikanische National Weather Service im Glossar zu Kennzahlen der Prognoseprüfung. Datenstand: 05.11.2026. Sämtliche Fälle und Zahlen im Rechenbeispiel sind fiktiv.

Weitere Informationen findest du unter Zahlen lesen und beim Einstieg. Den Vergleich mit einem kleineren Beispiel findest du im Beitrag Warum gleiche Trefferquote nicht alles sagt. Für weitere Rechenhilfen gibt es Analysen und Rechner.