Daten & Statistiken
Eine perfekte Rangfolge ist noch keine perfekte Prognose
Inhaltlich überarbeitet: 21.11.2026
Eine Prognoseauswertung nennt eine ROC-AUC von 1,00. Heißt das, dass jede Wahrscheinlichkeit stimmt oder jeder Tipp richtig ist? Nein. Dieser Wert beschreibt zunächst eine Rangfolge. Zwei Listen können dabei perfekt abschneiden und bei derselben Ja-Nein-Regel trotzdem unterschiedlich viele Fälle richtig einordnen.
Was die Rangfolge vergleicht
Wir betrachten eine vorher festgelegte Bedingung mit zwei möglichen Ergebnissen: eingetreten oder nicht eingetreten. „Positiv“ heißt hier eingetreten, nicht profitabel. Eine Zahl wie 0,30 steht für eine vorhergesagte Wahrscheinlichkeit von 30 Prozent.
Die ROC-AUC gehört zu den Kennzahlen für solche Vorhersagen. Google erklärt sie anhand eines zufällig gewählten Paars aus einem positiven und einem negativen Fall: Wie wahrscheinlich steht der positive Fall in der Bewertung höher? Für unser kleines Beispiel ohne gleiche Werte lässt sich das direkt durch Abzählen aller solchen Paare berechnen. Es geht dabei um die Reihenfolge, nicht um den Abstand der Zahlen.
Vier eigene Fälle mit derselben perfekten Reihenfolge
Alle Wahrscheinlichkeiten und Ergebnisse in der Tabelle sind frei konstruierte Lehrdaten. Es sind keine beobachteten Sportereignisse, echten Prognosen oder Ergebnisse eines Modelltests. Beide Listen beziehen sich auf genau dieselben vier Fälle.
| Fall | Ergebnis | Liste A | Liste B |
|---|---|---|---|
| 1 | 0 | 0,10 | 0,05 |
| 2 | 0 | 0,20 | 0,10 |
| 3 | 1 | 0,30 | 0,80 |
| 4 | 1 | 0,40 | 0,90 |
Vergleiche Fall 3 mit Fall 1 und mit Fall 2. Danach vergleichst du Fall 4 mit Fall 1 und mit Fall 2. In Liste A stehen jeweils 0,30 oder 0,40 über 0,10 und 0,20. In Liste B stehen 0,80 oder 0,90 über 0,05 und 0,10. Beide Listen ordnen alle vier positiven-negativen Paare richtig: 4 ÷ 4 = 1,00 AUC.
Die Ja-Nein-Grenze liefert ein anderes Ergebnis
Für die folgende getrennte Auswertung legen wir fest: Ab 0,50 lautet die Vorhersage Ja, darunter Nein. Diese Grenze ist unsere feste Lehrregel, keine Empfehlung für Wetteinsätze und keine aus den Ergebnissen optimierte Auswahl.
Liste A sagt viermal Nein. Damit sind die Fälle 1 und 2 richtig eingeordnet, die Fälle 3 und 4 falsch: zwei von vier. Liste B sagt bei 1 und 2 Nein, bei 3 und 4 Ja. Sie ordnet damit alle vier richtig ein. Der AUC-Wert bleibt für beide Listen 1,00, weil die Reihenfolge unverändert ist. Eine AUC von 1,00 ist also keine Trefferquote von 100 Prozent bei jeder beliebigen Grenze.
Auch der Abstand der Wahrscheinlichkeiten bleibt unsichtbar
Der binäre Brier-Verlustwert misst einen anderen Aspekt. Pro Fall wird der Abstand zwischen Wahrscheinlichkeit p und Ergebnis y quadriert: (p − y)². Anschließend wird der Durchschnitt gebildet. Wir verwenden die binäre Skala von 0 bis 1. Die Erklärung zum Brier-Vergleich führt diese Rechnung ausführlicher ein.
Für A ergibt sich (0,01 + 0,04 + 0,49 + 0,36) ÷ 4 = 0,225. Für B sind es (0,0025 + 0,01 + 0,04 + 0,01) ÷ 4 = 0,015625. Derselbe perfekte Rangwert verdeckt hier unterschiedliche mittlere Abstände zu den vier Ergebnissen.
| Liste | ROC-AUC | Richtig bei Grenze 0,50 | Brier-Verlustwert |
|---|---|---|---|
| A | 1,00 | 2 von 4 | 0,225 |
| B | 1,00 | 4 von 4 | 0,015625 |
Der kleinere Brier-Wert ist hier ein kleinerer Fehler auf diesen vier Fällen. Er beweist allein keine verlässlich kalibrierten Wahrscheinlichkeiten. Kalibrierung betrifft den Vergleich vorhergesagter Chancen mit beobachteten Häufigkeiten über geeignete Fälle; unsere winzige konstruierte Tabelle prüft das nicht. Auch gleiche oder wechselnde Datensätze müssen beim Vergleich von Prognosefehlern getrennt betrachtet werden.
Wenn eine Auswertung nur AUC nennt, fehlen damit noch Aussagen über die verwendete Entscheidungsgrenze und die Qualität der Wahrscheinlichkeiten. Frage nach beiden, bevor du den Wert als „richtige Tipps in Prozent“ liest. Ohne reale Prüfung, Preise, Kosten und Einsätze folgt daraus erst recht keine Gewinnaussage.
Quellen und Stand: Am 21. November 2026 gelesen: Googles Erklärung zu ROC und AUC sowie die scikit-learn-Dokumentation zur binären Brier-Rechnung und zu den Grenzen einzelner Kalibrierungskennzahlen. Unsere Zahlen und Paarvergleiche sind eigene Lehrbeispiele; das Prüfdatum bezeichnet keine neue Regel oder neue Forschung.