용어집 항목
브라이어 점수 Brier Score
확률적 예측의 정확도를 측정하는 점수 — 예측 확률과 실제 결과 간 평균 제곱 오차. 낮을수록 좋으며, 완벽하면 0, 최악은 1이다. Closelook은 모든 Predictions 콜을 log-loss와 함께 브라이어 점수로 평가해, 공개 스코어보드가 자신감 있는 오답이 아니라 캘리브레이션(보정도)을 보상하도록 한다.
영어 원문을 자동 번역한 것입니다. 영어 원문 읽기 →
정의 및 맥락
브라이어 점수는 확률적 예측을 채점한다: 각 이진 사건에 대해 확률 p를 예측하고, 사건이 해소되면(0 또는 1), 오차는 (p − 결과)2이 된다. 모든 예측에 걸쳐 평균을 내면 0(완벽한 캘리브레이션)에서 1(완전히 틀림) 사이의 브라이어 점수가 나온다. 정확도(accuracy)와 달리 브라이어 점수는 과신과 과소확신 모두를 벌점 처리한다 — 무언가를 90% 유력하다고 말했다가 틀리는 것은 60%라고 말했다가 반대로 가는 것보다 더 큰 타격을 준다.
브라이어 점수는 신뢰도(reliability, 70% 예측이 실제로 70%의 확률로 맞는가?)와 해상력(resolution, 가능성이 높은 결과와 낮은 결과를 구분하는가?)으로 분해할 수 있다. 자신감 있는 오답을 더 강하게 벌하는 log-loss와 결합하면, 이는 Metaculus부터 기상 서비스까지 예측 대회의 업계 표준이다. 그럴듯해 보이지만 브라이어 점수가 0.25를 넘는 예측은 대개 동전 던지기보다 나을 게 없다.
투자자에게 중요한 이유
투자는 사실상 위장된 예측이다: 모든 거래는 암묵적인 확률 베팅이다. 대부분의 투자자는 자신의 성적을 기록하지 않는다. 의견을 내는 것이 캘리브레이션보다 더 편하게 느껴지기 때문이다. Closelook의 Predictions 서브사이트는 이러한 습관을 뒤집기 위해 존재한다 — 각 콜에는 명시적 확률, 기간, 무효화 수준이 부여되며, 공개 스코어보드는 브라이어 점수 + log-loss로 순위가 매겨진다. 정확도는 평범해도 캘리브레이션이 정밀한 예측가가, 정확도는 들쭉날쭉하지만 목소리만 큰 예측가를 종종 능가한다.
관련 개념
브라이어 점수는 알파(위험조정 초과수익은 캘리브레이션된 예측의 금융적 대응물이다)와 Closelook의 패턴 라이브러리를 뒷받침하는 방향성 알파 프레임워크와 연결된다.