Glossarbegriff
Brier Score
Genauigkeitsmaß für probabilistische Prognosen — die mittlere quadratische Abweichung zwischen vorhergesagter Wahrscheinlichkeit und tatsächlichem Ergebnis. Niedriger ist besser; perfekt = 0, schlechtestenfalls = 1. Closelook bewertet jeden Predictions-Call mit Brier Score zusammen mit Log-Loss, sodass das öffentliche Scoreboard Kalibrierung belohnt, nicht selbstbewusstes Danebenliegen.
Automatisch aus dem englischen Original übersetzt. Zum englischen Original →
Definition & Kontext
Der Brier Score bewertet probabilistische Prognosen: Für jedes binäre Ereignis sagen Sie eine Wahrscheinlichkeit p voraus, und sobald sich das Ereignis auflöst (0 oder 1), ergibt sich der Fehler als (p − Ergebnis)2. Die Mittelung über alle Prognosen ergibt einen Brier Score zwischen 0 (perfekte Kalibrierung) und 1 (vollkommen falsch). Anders als reine Trefferquote bestraft Brier sowohl Überkonfidenz als auch Unterkonfidenz — einen 90%-Favoriten zu benennen und falsch zu liegen schadet mehr, als wenn ein 60%-Call gegen Sie ausgeht.
Brier lässt sich in Zuverlässigkeit (treffen Ihre 70%-Prognosen tatsächlich in 70% der Fälle zu?) und Auflösungsvermögen (unterscheiden Sie wahrscheinliche von unwahrscheinlichen Ergebnissen?) zerlegen. Kombiniert mit Log-Loss — das selbstbewusstes Danebenliegen noch schärfer bestraft — ist er der Branchenstandard für Prognoseturniere, von Metaculus bis zu Wetterdiensten. Prognosen, die klug wirken, aber einen Brier-Score > 0.25 aufweisen, sind meist nicht besser als ein Münzwurf.
Warum es für Anleger wichtig ist
Investieren ist verkappte Prognose: Jeder Trade ist eine implizite Wahrscheinlichkeitswette. Die meisten Anleger führen nie Buch, weil Meinung angenehmer wirkt als Kalibrierung. Closelooks Predictions-Subsite existiert, um diese Gewohnheit umzukehren — jeder Call trägt eine explizite Wahrscheinlichkeit, einen Zeithorizont und ein Invalidierungsniveau, und das öffentliche Scoreboard wird nach Brier Score + Log-Loss geordnet. Ein Prognostiker mit bescheidener Trefferquote, aber enger Kalibrierung schlägt oft einen lautstarken Prognostiker mit durchwachsener Trefferquote.
Verwandte Konzepte
Brier steht in Verbindung zu Alpha (risikoadjustierte Überperformance ist das finanzielle Pendant zur kalibrierten Prognose) und dem Directional Alpha-Framework hinter Closelooks Musterbibliothek.