보정층

숫자 다듬기

Platt 확률 보정 · calibration-postprocess-v1

한 줄 결론 — 독립 예측 모델이 아니다. 후보가 낸 만석확률의 눈금만 다시 맞추는 층이라 종합 점수를 매기지 않는다.

Q. 이 층은 무엇을 계산하나?

기본 모델이 말한 만석확률과 이후 관측한 실제 만석 빈도가 맞도록 확률의 크기를 조정한다. 일일 평가는 그 조정이 실제로 맞았는지를 잰다.

아래 해설의 실측 수치는 동결 전 연구 검증(코퍼스 validation 10,040건·만석 583건) 기준이며 오늘 성적과 섞지 않는다. 해설 기준: calibration-postprocess-v1.

Q. 위험 순서를 잘 세웠는데 왜 손을 더 대나?

AUC가 높다는 말은 위험한 버스를 위에 놓았다는 뜻이다. 적어 둔 확률이 실제 만석 빈도와 맞는다는 뜻은 아니다.

코퍼스 보조 validation의 못 본 것도 세기가 그랬다. 원예측 AUC는 0.9748이었지만 ECE는 0.0200이었다. isotonic을 얹자 AUC는 0.9751로 거의 그대로였고, ECE는 0.0053으로 줄었다. Brier는 0.0284에서 0.0268, log loss는 0.0968에서 0.0878로 내려갔다. 순위 신호는 이미 있었고 확률 눈금이 어긋나 있었다. ECE는 확률 구간별 예측과 실제 만석률의 차이를 표본 수로 가중한 값이다.

정류장×시간대 train 셀 833개 중 281개(33.73%)는 표본 10건 이하였다. 719개(86.31%)는 만석을 한 번도 못 봤다. 후보마다 이 얇은 셀을 다루는 법이 달라 원확률의 눈금도 달라졌다.

사람의 무게 순서는 맞히지만 모두 무겁게 찍는 저울과 같다. 저울을 새로 만들 필요는 없다. 눈금만 다시 맞추면 된다. 보정 후처리는 일곱 번째 모델이 아니다. 각 후보 위에 붙여 따로 겨루는 한 층이다.

보정만 좋다고 쓸 수도 없다. 평균만 내는 기준선은 ECE 0.0004였지만 AUC 0.5000이었고 만석을 전부 놓쳤다. 먼저 위험 순서를 가르고, 그다음 눈금을 본다.

다만 아무 모델에나 붙이면 좋아지는 층도 아니다. 평균으로 당기기의 ECE는 raw 0.0070에서 Platt 0.0134, isotonic 0.0131로 나빠졌다. 이웃에게 빌리기도 raw 0.0038이 Platt 0.0190, isotonic 0.0082보다 나았다. 그래서 공통 보정법은 아직 정하지 않았다.

Q. 어떻게 계산하나?

이 방식의 강점

• 기본 모델의 위험 순서를 크게 바꾸지 않으면서 확률의 전체 쏠림을 줄인다.
• 기본 모델별 적용 상태와 전후 변화를 나눠 어느 조합에서 도움이 되는지 본다.
• 원자료 특징을 다시 읽지 않아 보정층의 예측 입력 경계가 좁다.

Q. 보정기는 무엇을 어떻게 고치나?

Q. 입력은 무엇인가?

입력은 후보가 낸 원 만석확률 p_full 하나다. 정류장, 시간, 앞차 잔여석을 다시 넣지 않는다. 그 정보는 이미 원확률 안에 들어 있다. 보정기는 p_full과 실제 출발 후 만석 빈도의 대응만 배운다. 마지막에 사용자용 탈 확률을 p_board = 1 - p_full로 바꾼다.

Q. Platt는 어떻게 고치나?

원확률을 로짓으로 바꾼 뒤 기울기와 절편 두 개를 붙인다.

한 번에 휘는 매끈한 S자 눈금이다. 표본이 비교적 적어도 모양이 쉽게 요동치지 않는다. 대신 중간 구간만 꺾이거나 양끝이 서로 다르게 틀어진 모양은 잘 못 잡는다.

Q. isotonic은 무엇이 다른가?

모양을 S자로 정하지 않는다. 원확률이 큰 사례의 보정값이 더 작아지지만 않게 묶고, 그 안에서 실제 만석률에 가장 가까운 단조 함수를 찾는다. 구간 검열 후보에서는 임계점 47개가 생겼다. 국소 굽힘을 잡는 대신 표본이 적은 구간에서는 넓은 평지와 급한 턱이 생긴다. 같은 평지에 묶인 사례는 순위도 동률이 된다.

Q. 모델이 이미 본 답으로 눈금을 맞춰도 되나?

안 된다. 학습일 안에서 날짜를 앞으로만 넘겼다. 앞선 날짜로 모델을 맞추고 다음 날짜를 예측해 OOF 원확률을 모았다. 보정기가 본 것은 10,236건, 만석 572건이다. 최종 검증 10,040건과 그중 만석 583건은 보정기에 들어가지 않았다.

하이퍼파라미터는 앞 3일 7,049건·만석 478건의 순방향 2개 fold에서 먼저 골랐다. 뒤 5,016건은 이 선택에서 뺐다. 보정용 OOF를 모은 뒤에는 기본 모델을 train 12,065건·만석 705건 전체에 다시 맞추고, 그 원확률에 보정 함수를 적용했다.

OOF 만석률 5.5881%와 전체 train 만석률 5.8433%의 차이는 가중치로 맞췄다. 만석 행 가중치는 1.045673, 비만석 행은 0.997297이었다. isotonic의 정확한 0과 1은 OOF 표본 수에서 나온 Jeffreys 경계 0.00004884와 0.99995116으로만 잘랐다.

Q. 실제 한 건은 어떻게 바뀌나?

2026년 8월 5일 07:39:09.882, 3330번 농수산물시장 61번 순번 사례다. 구간 검열 모형의 원 만석확률은 0.496211이었다. 07:40:13.513 출발 관측은 잔여석 0, 실제 라벨은 만석이었다.

Platt 보정기는 이 후보의 OOF 자료에서 기울기 1.575053, 절편 0.850292를 배웠다.

isotonic은 같은 원확률 0.496211을 학습한 단조 눈금에서 0.605123으로 옮겼다. 세 값은 한꺼번에 섞지 않는다. raw·Platt·isotonic을 독립 변형으로 평가한다. 이 한 건이 Platt의 승리를 뜻하지도 않는다. 구간 검열 후보의 전체 검증에서는 isotonic ECE 0.0053이 Platt 0.0093보다 낮았다.

Q. 후보마다 효과가 같나?

공통 답은 아직 없다. 못 본 것도 세기에는 isotonic을 붙인 변형이 잠정 선택됐다. 평균으로 당기기와 이웃에게 빌리기는 raw가 낫다. 본사와 지점, 재료 다 넣기의 isotonic 개선 구간은 0을 포함했다. 후보 이름 뒤에 raw·platt·isotonic을 붙여 서로 다른 모델 버전처럼 관리하고, 원확률도 함께 남긴다.

재료 한눈에

정원·차종은 검증해서 버린 재료가 아니다. M3 ablation에서 명백한 개선 0개는 표본 관문 미달의 결과이고, 관측 최대 잔여석으로 정원을 추정한 행은 0건이며 계속 금지한다. 원천 필드 단위 출처는 재료 대장에 있다.

언제 실패하나

• 앞선 날짜의 외부예측이나 만석·비만석 표본이 부족하면 보정기를 맞추지 않고 미적용으로 남긴다. 2026-08-15 평가가 실제 사례다(아래 이력).
• 기본 모델 버전과 보정기 버전이 어긋나면 적용을 중단하고 원확률 대체로 표시한다. 한 구간에 대체 행이 섞이면 혼합 점수를 보정 성능으로 쓰지 않는다.
• isotonic은 표본이 얇은 확률 구간에서 턱과 평지가 생긴다. 코퍼스 검증의 0.1~0.2 구간 97건은 평균예측 0.1216에 실제 만석률 0.2577, 0.6~0.7 구간 21건은 0.6051에 0.8095였다.
• 전체 쏠림이 줄어도 노선별 오차가 상쇄될 수 있다. 같은 검증에서 1650은 -0.0093 과소, 3330은 +0.0010 과대였다.
• 이미 눈금이 맞는 기본 모델에는 보정이 확률 오차와 과신 벌점을 키울 수 있다. 평균으로 당기기와 이웃에게 빌리기가 실제 반례다.
• 보정은 기본 모델이 잘못 매긴 위험 순서를 고치지 못한다. 기본 모델의 특징·학습기간·하이퍼파라미터가 바뀌면 같은 보정 함수를 재사용하지 않는다.
• 코퍼스 개발 validation을 반복 확인해 후보 선택 성적이 좋게 부풀었을 가능성이 남았다. 동결 뒤 이후 연속 날짜와 직접 수집 만석 사건으로 다시 잰다.

Q. 개인정보와 미래 정답은 어떻게 막나?

• 평가 라벨은 보정 학습·방법 선택·파라미터 선택에서 뺀다. 분할 경계 뒤에 확인된 라벨을 앞 학습 구간으로 되돌리지 않는다.
• 각 순방향 외부예측은 그 행의 날짜보다 앞선 날짜로만 기본 모델을 학습했는지 검사한다.
• 개별 차량을 복원할 수 있는 값은 내부에서 사건을 연결하고 중복을 제거할 때만 쓰며 보정 입력과 공개 산출물에 넣지 않는다.

라벨 정의·분할 규칙·queryTime 검증 같은 공통 규약은 평가 규약에 있다.

다음 평가 관문

• 기본 모델별 순방향 외부예측의 날짜·만석·비만석 적격 관문을 먼저 통과한다.
• 실제 보정 적용 행이 있고 원확률 대체 행이 없는 구간만 모든 요청 행에 적용된 결과로 본다.
• 같은 행에서 보정 전후를 전체와 고정 구간별로 함께 확인하고, 관문 전에는 잠정 점추정만 공개하며 우열을 말하지 않는다.
• 사전에 고정한 미래구간에서 기본 모델·보정기·평가 규격 버전을 동결해 다시 평가한다.

기존 프로토타입과 다른 점

프로토타입에는 이 층이 없었다. 지금도 하나의 만능 보정층을 정한 상태는 아니다. 달라진 것은 보정 여부까지 검증 대상이 됐다는 점이다.