用語集の項目
ブライアスコア Brier Score
確率予測の精度を測るスコア——予測確率と実際の結果との二乗誤差の平均。値が低いほど良く、完璧なら0、最悪なら1。Closelookは全てのPredictions予測をブライアスコアとログ損失の両方で採点し、公開スコアボードが自信満々の誤りではなくキャリブレーション（較正）を評価するようにしている。
英語原文からの自動翻訳です。 英語の原文を読む →
定義と背景
ブライアスコアは確率予測を採点する指標である。二値事象に対して確率pを予測し、事象が確定した後（0または1）、誤差は(p − outcome)2となる。全予測の平均を取ることで、0（完璧なキャリブレーション）から1（完全に誤り）の間のブライアスコアが得られる。正解率とは異なり、ブライアは過信と過小評価の両方にペナルティを課す——90%の本命と予測して外れる方が、60%の予測が外れるより痛手が大きい。
ブライアスコアは信頼性（70%と予測したものが実際に70%の確率で当たっているか）と識別力（起こりやすい結果とそうでない結果を区別できているか）に分解できる。自信満々の誤りをより厳しく罰するログ損失と組み合わせることで、Metaculusから気象予報機関まで、予測トーナメントにおける業界標準となっている。一見賢そうに見えてもブライアスコアが0.25を超える予測は、通常コイントスと大差ない。
投資家にとって重要な理由
投資とは姿を変えた予測行為である。あらゆる取引は暗黙の確率賭けにほかならない。ほとんどの投資家は成績を記録しない——意見を述べる方がキャリブレーションより心地よいからだ。Closelookの Predictions サブサイトは、この習慣を逆転させるために存在する。各コールには明示的な確率、期間、無効化水準が付与され、公開スコアボードはブライアスコア＋ログ損失で順位付けされる。的中率はそこそこでもキャリブレーションが精密な予測者は、しばしば的中率にムラのある声高な予測者を上回る。
関連する概念
ブライアスコアはアルファ（リスク調整後の超過収益はキャリブレーションされた予測の金融版といえる）や、Closelookのパターンライブラリの基盤となるディレクショナル・アルファのフレームワークと結びついている。