여덟 후보의 성적과 원리를 한 자리에 모았다. 재료가 갈려 레인이 둘이고,
그래서 여덟을 같은 표에 놓고 순위를 매기지 않는다.
2026-08-19 에 더해진 08번 오고 있는 버스 보기를 먼저 두고 기존 일곱을 뒤에 둔다.
08 · 오고 있는 버스 보기
차량 상태 조건부 좌석 분포(A18) — 2026-08-19 팀 검토로 1차 운영 모델이 됐다. 그 전에는 02번이었다.
지평별 종합 점수 · 50 = 시간순 과거 만석률 기준 모델 · 지평마다 채점 표본이 달라 서로 빼지 않는다
지평은 시간이 아니라 노선 순번 차이이고 경유 지점도 한 칸으로 센다. 지평 12의 중앙 소요는 26.7분이다.
2026-08-20 확률 맞춤 눈금을 교정했다. 시간대별 과소·과대 예측을 먼저 재므로
정보가 없는 상수 예보가 높은 점수를 받던 결함과 먼 지평의 가짜 반등이 사라졌다.
만석 구분(PR-AUC)은 1정류장 0.9114 · 2정류장 0.8562 · 8정류장 0.5747 · 12정류장 0.4678 로 한 방향으로 내려간다.
2026-08-23 완료일까지 추가한 채점 표본은 지평 1에서 111,063건(만석 1,354) · 지평 12에서 93,183건(만석 1,226)이고,
채점 표본의 기저 만석률은 지평에 따라 1.22~1.32%다.
원리와 재료는 모델 상세에 있다.
v1과 v2 점수는 서로 비교하지 않는다. 모델이 바뀐 것이 아니라 확률 맞춤의 눈금이 바뀌었다.
가중치 35·20·15·15·15는 유도한 값이 아니며, 지평끼리의 우열은 같은 규격에서 다섯 구성 항목이 모두 한쪽인 경우에만 말한다 — 평가 규약 5절.
지평 12를 고른 근거 — 덮는 범위와 골라내는 능력의 맞바꿈
| 지평 | 정류장 커버율 | 만석 구분 | 기저 대비 향상 | 판정 |
|---|
| 8정류장 | 78.0% · 83.7% | 0.575 | 45.0배 | 보고 기준 |
| 12정류장 | 84.8% · 90.4% | 0.468 | 35.6배 | 서빙 상한 · 채택 |
| 16정류장 | 85.7% · 91.0% | 0.333 | 24.0배 | 기각 · 8/19 이력 |
고른 기준은 종합 점수가 아니라 이 맞바꿈이다.
지평 16은 이번 8/23 평가 범위에 없으므로 새 지평 12 값과 직접 비교하지 않고 8/19 기각 이력으로만 남긴다.
커버율 열은 하루 전체 · 운행 시간대(06~23시) 순서이며 지평 8·12는 8/22까지 잰 별도 측정값이다.
분모는 두 노선의 승차 정류장 143곳이다.
기저 대비 향상 배수는 만석 구분을 기저 만석률로 나눈 값이라 기저율이 다른 판끼리 견주면 안 되고,
같은 판 안에서 지평끼리 견줄 때만 쓴다.
이 카드의 숫자는 evaluation-v6 · composite-score-v2로
지평 1~12를 2026-08-23 완료일까지 채점한 horizon-20260823-fc607dfe162610ec의 정적 사본이다. 지평 모델은 공개 일일 평가와 표본이 달라
private_internal_only로 분리되어 있고 공개 일일 평가 API에는 싣지 않는다.
지평 1~12 전부의 성적은 LIVE와 모델 상세의 같은 원장 표에서 확인한다.
원리·재료 자세히 →
기존 후보 일곱
별명은 각 모델이 실제로 하는 일에서 땄고 번호는 설계 순서다.
01–05는 2026-08-19 까지 운영 후보였고 지금은 06·07과 같은 비운영 참조다.
이름을 누르면 원리·재료를 적은 상세 페이지로 가고, 마지막 지표값은 아래 동결 이력 표에 있다.
배포 시점 값 · 일일 평가 2026-08-16분 · 생성 08-17 00:15 KST
채점을 어디서 멈추나
2026-08-19 팀 검토로 08번을 단일 운영 모델로 확정하면서 이 일곱의 일일 채점을 2026-08-19 평가일까지만 하기로 정했다.
평가 규약을 evaluation-v3 로 올리면서 함께 정한 것이 셋이다 — 채점 중단, 일곱의 역할을 운영 후보에서 비운영 참조로 내림, 08번 채점 범위를 지평 1~12 로 넓힘.
멈추는 것과 지우는 것은 다르다. 일곱은 평가 규약에 그대로 남고 지난 점수도 일일 평가 API 의 이력에 그대로 이어진다.
멈춘 뒤 응답은 오늘 값 자리를 비우고 그 자리에 "2026-08-19 평가일 뒤로 일일 채점을 멈춰 새 값을 계산하지 않는다. 마지막 값은 이력에 남아 있다"고 적는다.
아래 카드와 표의 숫자는 그래서 채점이 멈춘 시점의 값으로 굳는다.
evaluation-v6도 이 중단 선언을 이어받는다. 일곱에는 새 점수를 만들지 않고 마지막 값과 중단 시점만 이력으로 남긴다.
LIVE 는 A18 하나만 보며, 일곱의 과거 점수는 이 현황판과 일일 평가 API 이력에서만 읽는다.
지금 어디까지 왔나
설계구현
수집·라벨앞날 학습
일일 잠정 평가
여기 · 1차 운영 선택(2026-08-19 · 08번)
모델 비교 가능채택 확정
현재 성능은 승자를 고르는 판정이 아니다.
1차 운영 선택은 운영 적용을 위한 팀 선택이고 성능 입증이 아니다. 2026-08-19 팀 검토로 08번(차량 상태 조건부 좌석 분포)을 골랐다 — 그 전(2026-08-17~08-19)에는 02번이었다.
같은 검토에서 이 일곱의 일일 채점을 2026-08-19 평가일까지로 끊었다. 멈추는 것은 점수와 지표이고, 아래 관문 막대는 채점과 별개로 세는 표본 값이라 계속 는다.
아래 세 관문을 모두 넘어야 모델 비교를 시작한다.
세 막대 모두 모델 비교 가능 관문 기준이다(평가 규약). 수집 현황은 LIVE에 있다.
01 못 본 것도 세기 · 미관측 구간 가중 경험 베이즈잠정
폴링 사이에 놓친 통과를 버리지 않고 계산에 넣는다.
02 재료 다 넣기 · 상호작용 로지스틱 회귀이전 1차 운영(08-17~08-19)잠정
쓸 수 있는 재료를 전부 넣고 조합까지 본다.
2026-08-19 이후 비운영 참조다 — 서빙 계약에서 빠지고 일일 채점도 그날 평가일까지다. 08-17에 잡아 둔 배포 ID logistic-interactions-20260817-001로 예보를 낸 적은 없다.
03 이웃에게 빌리기 · 공간·시간 스플라인 GAM잠정
표본이 적은 정류장은 옆 정류장·옆 시간에서 정보를 빌린다.
04 평균으로 당기기 · 계층적 경험 베이즈 축소잠정
표본이 적을수록 노선 전체 평균 쪽으로 끌어당긴다.
05 본사와 지점 · 계층 로지스틱 회귀잠정
정류장 사정과 전체 기준을 함께 본다.
06 한계 재보기 · 그래디언트 부스팅비운영 참조잠정
가장 잘하면 어디까지 되는지 재는 자다. 운영에는 안 쓴다.
07 숫자 다듬기 · Platt 확률 보정보정층잠정
모델이 낸 확률을 정직한 숫자로 고쳐 앉힌다. 모델이 아니라 얹는 층이다.
막대 길이를 순위로 읽지 마라. 종합 점수의 가중치 35·20·15·15·15 는 유도한 값이 아니라 정한 값이고,
구성 항목 다섯 중 넷은 서로 상관이 0.74~0.98 로 사실상 같은 축이다. 원리 있는 대안 가중치로 다시 채점하면 이 일곱의 값이 중앙값 11.8점 폭으로 움직이는데
같은 날 인접 모델 간 격차는 중앙값 2.2점이다 — 눈금이 재려는 차이보다 넓다. 근거는 평가 규약 5절에 있다.
확정 계약은 노선 예보 조회 v1이다.
동결 이력 구간 커버리지
중단 전 일일 평가가 어느 구간을 얼마나 덮었는지 센 역사 표다. 표본은 모델 공통이고 A18 v6 표본과 합치지 않는다. 보정층만 실제 적용 행(주말 8,973행)으로 계산했다.
| 구간 | 평가 행 | 만석 | 만석률 |
|---|
| 주말 | 18,055 | 173 | 1.0% |
| 출근 | 2,702 | 0 | 0.0% |
| 퇴근 | 4,195 | 12 | 0.3% |
| 그 외 | 11,158 | 161 | 1.4% |
| 노선 1650 | 7,532 | 160 | 2.1% |
| 노선 3330 | 10,523 | 13 | 0.1% |
| 노선 1650·출근 | 970 | 0 | 0.0% |
| 노선 1650·퇴근 | 1,694 | 12 | 0.7% |
| 노선 1650·그 외 | 4,868 | 148 | 3.0% |
| 노선 3330·출근 | 1,732 | 0 | 0.0% |
| 노선 3330·퇴근 | 2,501 | 0 | 0.0% |
| 노선 3330·그 외 | 6,290 | 13 | 0.2% |
평가 행이 없는 구간 1개: 평일
모든 모델이 공통으로 답하는 것 — 기능 정의
해설 기준 — 이 정의는 M1·M2 연구 변형(실시간 특징 포함)의 기록이다. 02번 운영 v1 안의 입력은 노선·정류장 순번·KST 시간대 셋뿐이었고 차량을 고르지 않았다. 02번은 2026-08-19 이후 비운영 참조다 — 서빙 계약에서 빠지고 일일 채점도 그날 평가일까지다. 지난 점수는 지우지 않는다.
지금 이 정류장으로 오고 있는 그 버스가,
이 정류장을 출발할 때 자리가 하나도 안 남아 있을 확률.
p_full = P(출발 후 잔여석 = 0) · 화면에 나가는 값 p_board = 1 − p_full
일곱은 이 하나를 서로 다른 방법으로 계산하고,
08번은 좌석 수별 분포를 내어 그 분포의 0 지점으로 같은 값을 읽는다.
아래 정의가 어긋나면 모델이 아니라 정의를 고친다.
1. 대상 — 무엇 하나의 확률인가
조회 한 번이 만드는 판정은 정확히 하나다.
| 판정 단위 | (노선, 정류장, 그 정류장에 다음으로 올 차량) 하나 |
|---|
| "다음 버스"의 정의 | 목표 정류장을 아직 지나지 않은 차량 중 축거리가 가장 가까운 하나.
last_passed < station_seq인 차량들 중 station_seq − last_passed 최소 |
|---|
| 동률이면 | 덜 진행한 쪽을 고른다 — 출발 < 교차로 < 도착.
그래도 같으면 나중 여정, 그래도 같으면 차량 ID 사전순 |
|---|
| 다음 버스가 없으면 | 판정하지 않는다. upstream_bus_exists = 0으로 남긴다 |
|---|
| 대상 노선 | 경기 광역버스 1650 · 3330 두 개. 상·하행이 한 축이고 회차 순번으로 방면을 가른다 |
|---|
| 경유(미정차) 지점은 | 판정하지 않는다. 승객이 탈 수 없는 자리라 예보 대상이 아니다 —
stationId 가 277 로 시작하면 경유다(1650 24곳 · 3330 7곳).
차량 관측은 그대로 쓴다 — 경유 지점을 지나며 남긴 좌석·기울기는 뒤에 올 승차 정류장 예보의 재료다. |
|---|
| 거리 세는 법 | 내부 계산은 축 순번, 화면 표시는 정차 정류장만 센다. 둘을 섞지 않는다 |
|---|
2. 사건 — 무엇이 일어나면 "만석"인가
라벨은 예측이 맞았는지 채점하는 정답이다. 이 정의가 전부의 기준이 된다.
| 만석 (1) | 그 차량이 목표 정류장을 출발한 직후 관측한 잔여석이 0 |
|---|
| 여유 (0) | 같은 자리에서 잔여석이 양수 |
|---|
| 제외 | 잔여석 -1은 좌석 정보 미제공이다. 0으로 바꾸지 않는다 — 바꾸면 가짜 만석이 생긴다 |
|---|
| 인정하는 관측 세 가지 | 정류소 출발(stateCd=2, 순번 = S) ·
교차로 통과(stateCd=0, 순번 = S) · 다음 정류소 도착(stateCd=1, 순번 = S+1).
이 셋이 아니면 라벨로 쓰지 않는다 |
|---|
| 왜 도착이 아니라 출발인가 | 도착 시점 0은 만차가 아니다. 하차하면 자리가 생긴다.
실측으로도 도착 시점 만석 3.02%(23/762) 대 출발 이후 11.95%(399/3,339)로 네 배 차이가 난다 직접 수집 176호출.
도착 시점으로 재면 "거의 항상 탈 수 있다"고 잘못 알려준다 |
|---|
| 입석은 | 법으로 금지다. 그래서 잔여석 0 = 못 탐이 성립한다. 타는 것과 앉는 것이 같은 말이다 |
|---|
3. "나" — 누구 기준의 확률인가
여기가 가장 헷갈리는 자리다. 확률에는 사람이 하나 전제돼 있다.
| "나"의 정의 | 그 정류장에 새로 도착해 줄 맨 뒤에 서는 한 사람 |
|---|
| 왜 맨 뒤인가 | 자리 C, 원래 대기 D, 출발 후 잔여석 R = max(C−D, 0)이다.
R ≥ 1이면 나는 어디 서든 탄다. R = 0이면 맨 뒤에 선 나는 확실히 못 탄다.
이 둘이 합쳐져 P(못 탐) = P(R = 0)이 정확히 성립한다 |
|---|
| 이미 줄에 서 있던 사람은 | 우리 값이 실제보다 비관적이다. R = 0이어도 앞쪽에 섰다면 탔을 수 있다.
예보로서는 안전한 쪽으로 틀린다 |
|---|
| 대기 인원은 어디에 | 이미 R에 흡수돼 있다. 그날 사람이 많았으면 R이 작게 나온다.
따로 대기자 수를 몰라도 되는 이유다 |
|---|
| 깨지는 경우 | 예보를 본 여러 명이 동시에 같은 정류장으로 몰릴 때.
그때는 각자가 "맨 뒤 한 명"이 아니게 된다 |
|---|
4. 상황 — 언제 예측하고 그때 무엇을 아는가
라벨을 재는 시점과 예측하는 시점은 다르다.
| 예측 시점 | 사용자가 조회하는 그 순간. 버스는 아직 정류장 상류에 있다 |
|---|
| 라벨 재는 시점 | 그 버스가 정류장을 출발한 뒤. 학습할 때 정답을 확인하는 자리일 뿐이다 |
|---|
| 그때 아는 것 | 그 버스의 현재 잔여석·위치·상태, 앞차가 그 정류장을 어떻게 지났는지,
그 정류장 × 시간대의 과거 위험, 계획 배차간격 |
|---|
| 모르는 것 | 지금 그 정류장에 몇 명이 서 있는지, 몇 명이 내릴지 |
|---|
| 시각 축 | 우리 응답 수신 시각 하나뿐이다. 서버가 준 queryTime은
우리 수신 시각보다 항상 미래이고 되감김·점프가 있어 계산에 쓰지 않는다 |
|---|
| 평가기가 넘기는 값 | 노선 · 정류장 순번 · 시각 · 시간대 · 평일여부 다섯이다.
숫자 다듬기만 예외로 다른 후보가 낸 확률 하나를 입력으로 받는다.
08번은 여기에 그 차량의 현재 잔여석이 더 들어간다(위 두 레인).
이 항목은 2026-08-19 에 배포된 평가기 구현과 대조해 고쳤다. |
|---|
5. 이것이 아니다
헷갈리기 쉬운 것들을 명시적으로 빼둔다.
- 정원 대비 점유율이 아니다45석 차의 0석과 71석 2층버스의 0석은 라벨상 똑같이 만석이다. 라벨 식에 정원이 안 들어간다
- 혼잡도 코드가 아니다
crowded는 별도 필드이고 지금은 재료 후보일 뿐 정답이 아니다
- 도착 시점 상태가 아니다승하차가 끝난 뒤를 잰다. 접근 중 만차여도 하차하면 탈 수 있다
- 내 줄 순번을 반영하지 않는다맨 뒤 한 명 기준이다. 앞에 몇 번째인지는 모른다
- 버스가 언제 오는지가 아니다도착 예정 시각은 별개 값이고 이 확률에 안 들어간다
- "아무도 못 탔다"가 아니다만석이어도 그 정류장에서 여러 명이 탔을 수 있다. 한 명이 더 못 탄다는 뜻이다
6. 아직 못 보는 것
정직하게 적어둔다. 여기가 다음 기능이 들어올 자리다.
- 잔여석 0 안쪽은 검열돼 있다. 자리가 딱 맞아떨어져 0이 된 경우와 40명이 못 탄 경우가
라벨상 똑같다. 초과 수요의 크기를 모른다 — 대기자 수 기능이 메울 자리다
- 하차 인원은 API에 없다. 우리가 보는 건 승하차가 끝난 뒤의 순 잔여석 하나뿐이다.
하차가 많은 정류장의 특성은 정류장 효과로 간접 흡수한다
- 수집 간격이 길면 중간 정류장을 놓친다. M3 직접 수집분에서 순번 점프 2 이상은
0건이었다.
90초를 넘긴 1,548행과 순번 점프 중간 지점
190행은 음성으로 바꾸지 않고 검열한다.
≤20초 구간의 point label은 721건이다
- 표본 관문을 넘지 못했다. 과거 M3 고정 미래구간 연구는 검증 1,901행·
만석 8건·하루다. 최소 관문은 검증
10일·만석 100건이며, 만석 민감 지표는 양성 20건부터 숫자를 낸다. 승자는 없다
M3 연구 이력 — 2026-08-15 동결
이전 고정 미래구간에서 실행한 연구 기록이다.
수집 범위·분할·평가 규격이 달라 M3 숫자를 현재 성능으로 쓰지 않는다.
과거 연구 · M3 권위값
아래는 M3 재대결 안에서 권위값이었던 기록이다. M1·M2보다 나중 연구였지만,
위의 현재 수집 평가를 대체하지 않는다.
- 입력·분할 직접 API 응답 582개 · train 604행/만석 28건 · validation 1,901행/만석 8건/날짜 1일이다.
- 비교 계약 모델 7개 · paired bootstrap 5,000회 · Holm 21쌍이다.
- 최신 결정
no_winner · 승자 없음이다. 검토 관문은 validation 날짜 10일·만석 100건이다.
- 민감 지표 validation 양성 20건 미만이면 만석 누락률·PR-AUC·ROC-AUC 수치를 억제한다.
- 정원·차종 M3 직접 수집분에서 ablation을 실행했고 명백한 개선 조합은 0개다. 관측 최대로 정원을 추정한 행은 0건이다.
- 공식 조인 직접 관측 고유차량 55/62대에 공식 이력이 연결됐다.
- 표현 규칙 후보 카드의 조건부 기술값에는 승패 색을 붙이지 않는다. 과거 M1·M2 성적과 승패 표시는 최신 판정에 쓰지 않는다.
M3 결론 — 승자 없음
아래는 검증 하루 안의 조건부 기술값이다. 날짜 일반화 근거나 최종 순위가 아니다.
검증행1,901고정 미래구간
검증 만석8한 건당 누락률 12.5%p
검증 날짜1날짜 간 분산을 재지 못함
보정 적격성미달적격 적용 0/3개 · raw fallback 5,703행
승자를 정하지 않는다. 점수가 가장 낮은 한계 재보기는 비운영 상한 참조라
운영 승자가 될 수 없다. 나머지 후보도 표본 관문 미달이므로 순위를 확정하지 않는다.
M3 연구 성적표
모든 값은 p_full이고 낮을수록 좋다. 95% 구간은 검증 하루에 맞춘
paired_station_id_x_query_date_cluster_bootstrap 5,000회로 구했다.
만석 20건 미만이면 만석 누락률은 숫자를 억제한다. 점수표일 뿐 순위표가 아니다.
모델별 기록은 각 모델 상세 페이지에도 같은 값으로 남아 있다.
| 코드·모델 |
Brier
얼마나 빗나갔나 |
ECCE-MAD
확률 오차가 쌓이나 |
log loss
확신하고 틀린 벌점 |
만석 누락 @ .5
만석을 안심으로 놓쳤나 |
결정비용 1·2·4
임계값 .50 · .33 · .20 |
|---|
| A · 평균으로 당기기 · raw운영 후보 | 0.0096 [0.0046, 0.0157] | 0.0326 [0.0204, 0.0469] | 0.0456 [0.0272, 0.0664] | 만석 20건 미만 · 수치 억제 | 1:1 0.0042 [0.0000, 0.0099]
2:1 0.0210 [0.0021, 0.0481]
4:1 0.0679 [0.0246, 0.1203] |
| B · 본사와 지점 + 숫자 다듬기 (raw fallback)운영 후보 | 0.0046 [0.0009, 0.0097] | 0.0194 [0.0145, 0.0244] | 0.0347 [0.0219, 0.0525] | 만석 20건 미만 · 수치 억제 | 1:1 0.0042 [0.0000, 0.0099]
2:1 0.0084 [0.0000, 0.0199]
4:1 0.0168 [0.0000, 0.0397] |
| C · 이웃에게 빌리기 · raw운영 후보 | 0.0041 [0.0000, 0.0096] | 0.0034 [0.0009, 0.0089] | 0.0443 [0.0009, 0.1014] | 만석 20건 미만 · 수치 억제 | 1:1 0.0042 [0.0000, 0.0099]
2:1 0.0084 [0.0000, 0.0199]
4:1 0.0168 [0.0000, 0.0397] |
| D · 재료 다 넣기 + 숫자 다듬기 (raw fallback)운영 후보 | 0.0052 [0.0011, 0.0107] | 0.0239 [0.0176, 0.0287] | 0.0483 [0.0289, 0.0734] | 만석 20건 미만 · 수치 억제 | 1:1 0.0042 [0.0000, 0.0099]
2:1 0.0084 [0.0000, 0.0199]
4:1 0.0168 [0.0000, 0.0397] |
| E · 못 본 것도 세기 · raw운영 후보 | 0.0053 [0.0023, 0.0094] | 0.0344 [0.0283, 0.0412] | 0.0440 [0.0329, 0.0576] | 만석 20건 미만 · 수치 억제 | 1:1 0.0042 [0.0000, 0.0099]
2:1 0.0084 [0.0000, 0.0199]
4:1 0.0079 [0.0000, 0.0196] |
| F · 못 본 것도 세기 + 숫자 다듬기 (raw fallback)운영 후보 | 0.0053 [0.0023, 0.0094] | 0.0344 [0.0283, 0.0412] | 0.0440 [0.0329, 0.0576] | 만석 20건 미만 · 수치 억제 | 1:1 0.0042 [0.0000, 0.0099]
2:1 0.0084 [0.0000, 0.0199]
4:1 0.0079 [0.0000, 0.0196] |
| G · 한계 재보기 + 숫자 다듬기 (raw fallback)비운영 상한 참조 | 0.0022 [0.0001, 0.0053] | 0.0023 [0.0021, 0.0035] | 0.0101 [0.0028, 0.0205] | 만석 20건 미만 · 수치 억제 | 1:1 0.0026 [0.0000, 0.0061]
2:1 0.0032 [0.0000, 0.0085]
4:1 0.0079 [0.0000, 0.0203] |
만석 8건이면 누락률이 한 사건당 12.5%p 움직인다.
비용비 1·2·4는 사용자 비용의 민감도이지 실제 측정값이 아니다. 어느 한 비율에서 방향이 뒤집히면 서비스 우열과 승자를 말하지 않는다.
이번 운영 후보 15쌍 중 방향 뒤집힘은 0쌍이다.
M3 연구 표본 관문
이 관문은 M3 연구 검토를 시작하는 최소선이지 통계적 충분조건이 아니다.
| 항목 | 현재 | 최소 관문 | 판정 |
|---|
| validation 날짜 | 1일 | 10일 | 미달 |
| validation 만석 | 8건 | 100건 | 미달 |
| 만석 민감 지표 숫자 | 8건 | 20건 | 수치 억제 |
| 모델별 보정 적격성 | 적격 적용 0/3개 · raw fallback 5,703행 | 실제 보정 · raw fallback 0행 | 미달 |
| bootstrap 유효 반복 | 비억제 비교 최소 100.0% | 90% 이상 | 통과 |
| 비용비 방향 일관성 | 뒤집힘 0/15쌍 | 0쌍 | 통과 |
1–4일은 관측 날짜 안 조건부 기술값, 5–9일은 진단 기술값이다.
검증 10일부터도 나머지 관문을 모두 통과해야 추론과 승자 선언을 검토한다.
경로·수집구간·날짜·라벨 규칙·관측간격 다섯 축은 한 축씩 따로 기록하며, 90초 초과는 음성이 아니라 검열로 남긴다.
관문을 넘어도 paired Brier 95% 구간·21쌍 Holm 보정,
각 모델쌍×지표 bootstrap 유효비율 90%, ECCE-MAD·log loss·만석 누락률·결정비용 1·2·4의 비악화와 방향 일관성,
마지막 세 날짜 누적 Brier 방향을 모두 확인한다.
하나라도 안 맞으면 승자 없음으로 남긴다.
M3 연구에서 점수 읽는 법
M3는 Brier를 주 판정값으로 두고 나머지를 통과 관문으로 썼다. 합산 점수는 만들지 않았다.
얼마나 빗나갔나Brier
예측 확률과 실제(만석 1 / 아님 0)의 차이를 제곱해 평균낸다. 범위가 0~1인 주 판정값이다.
확률 오차가 쌓이나ECCE-MAD
확률순으로 누적한 잔차의 최대 절댓값이다. 고정 구간 ECE처럼 구간 수를 고르지 않는다.
동률은 라벨·시각과 독립인 동결 nonce의 SHA-256 순서로 고정하고 전 행 누적곡선을 남긴다.
이번 재실행은 registry 후보 3,054건 중 기존 nonce
3,054건을 재사용했고 신규는 0건이다.
이는 재현 규칙일 뿐, 동률 순서를 바꿔도 값이 같다는 보장은 아니다. proper score가 아니므로 단독으로 승자를 고르지 않는다.
확신하고 틀린 벌점log loss
"99% 안전"이라 했는데 만석이면 크게 깎는다. 극단값 영향이 커서 주 판정이 아니라 과신 경계값으로 쓴다.
만석을 안심으로 놓쳤나false reassurance @ .5
실제 만석 중 p_full<0.5라고 답한 비율이다. 임계값과 만석 사건 수를 항상 함께 적는다.
오판 대가가 얼마인가decision cost 1:1 · 2:1 · 4:1
만석 누락 대가를 오경고의 1·2·4배로 두고 p_full≥.50·.33·.20에서 경고하는 민감도다.
고정폭 ECE와 AUC는 순위에서 뺐다. ECE는 서비스 구간 진단,
AUC와 PR-AUC는 과거 대조와 감사에만 쓴다.
M3 연구와 기존 프로토타입의 차이
- 프로토타입은 화면 탑승률과 좌석 예보가 서로 다른 계산이었다. 후보군은 출발 후 만석확률 하나로 통일한다.
- 프로토타입은 좌석값을 경로마다 도착 전·출발 후로 다르게 읽었다. 후보군은 출발 후 0석만 정답으로 쓴다.
- 프로토타입은 셀 비만석률을 그대로 보였다. 후보군은 얇은 셀을 축소·규제·평활화하며 과신을 비교한다.
- 프로토타입에는 확률 보정층이 없었다. 후보군은 원예측과 Platt·isotonic을 같은 시간순 검증에서 겨룬다.
코퍼스 사용은 0행이고 공식 이력·제원으로 정원·차종 ablation을 실행했다.
표본 관문 미달이라 "쓸모없다"는 뜻은 아니다.
공유 페이지에는 차량번호와 비공개 조인 식별자 값을 싣지 않는다.