비운영 참조

한계 재보기

비운영 그래디언트 부스팅 참조

한 줄 결론 — 운영하지 않는 참고 모델이다. 운영 후보가 놓친 신호가 얼마나 남았는지 재는 참조선이며, 점수가 낮아 보여도 채택이나 순위를 뜻하지 않는다.

왜 믿나

해설 기준: gradient-boosting-upper-v1 연구 구현 — 보조 코퍼스·초기 수집분으로 개발했고 isotonic 보정을 포함한다. 해설의 수치는 개발 당시 기록이고, 오늘 성적은 위 섹션이 정본이다. 관문 기준·구간 정의·지표 정의·분할 규칙·라벨 정의·상류 시계 반증은 평가 규약에 있다.

Q. 이 모델은 지금 무엇을 계산하나?

수집기가 예측 시점까지 모은 승인 정보의 비선형 조합이, 목표 정류장 출발 뒤 만석일 확률을 얼마나 가르는지 잰다. 목적은 배포가 아니라, 운영 후보가 놓친 신호의 잔량 확인이다.

오픈북 모의고사와 같다. 허용된 재료는 다 펼치지만, 그 답안지를 운영안으로 내지는 않는다. 운영 후보와 같은 평가 행·구간·지표로 채점하되 결과는 비운영 참고로만 표시하고 순위와 승자를 만들지 않는다.

Q. 정류장·시간만 봐도 되는데 왜 더 복잡하게 보나?

노선×정류장×30분 셀은 833개다. 이 중 281개(33.73%)는 학습 표본이 10건 이하고, 719개(86.31%)는 만석을 한 번도 못 봤다. 셀 비율만으로는 얇은 칸을 0% 위험으로 굳히기 쉽다.

그래서 이 모델에는 허용된 신호를 한꺼번에 넣었다. 위치와 시간뿐 아니라 앞선 버스의 절대 잔여석, 직전 통과, 헤드웨이 구간, 노선 전체 좌석 분포까지 준다.

보조 코퍼스의 시간순 검증 10,040건(만석 583건)에서 이 모델은 isotonic 보정 뒤 Brier 0.0155 · log loss 0.0524 · AUC 0.9910을 냈고, 잠정 운영 후보인 구간 검열 모형은 0.0268 · 0.0878 · 0.9751이었다. 차이는 남았다. 직접 수집분 validation 443건(만석 14건)에서는 이 모델이 0.0144 · 0.0731 · 0.9595, 구간 검열이 0.0244 · 0.0987 · 0.9093이었다. 다만 두 모델의 차이는 이 표본으로 가리지 못한다. train과 validation이 같은 날짜라 isotonic 보정 fold가 없었고 양쪽 예측 모두 raw다.

여기서 상한은 수학적 한계가 아니다. 이번 재료, 이번 구현, 이번 검증에서 찍힌 참조 기록이다.

Q. 어떻게 계산하나?

Q. 나무 한 그루는 무엇을 하나?

한 그루는 짧은 예·아니오 질문을 이어 붙인다.

• 상류 버스 잔여석이 1.5석 이하인가?
• 정류장 순번이 64 이하인가?
• 직전 통과 버스가 만석이었나?
• 지금 시각이 학습된 경계보다 이른가?

질문을 통과한 행들은 같은 잎에 모인다. 잎에는 만석 여부를 바로 적지 않는다. 현재 점수를 올리거나 내릴 보정값을 적는다. 숫자 결측은 억지로 0이나 평균으로 채우지 않는다. 나무가 결측을 어느 쪽으로 보낼지도 학습한다.

Q. 왜 한 그루로 끝내지 않나?

첫 나무가 크게 틀린 행을 다음 나무가 다시 본다. 그다음 나무도 남은 오차를 본다. 이 구현은 log loss를 줄이는 작은 나무 250개를 순서대로 더한다.

마지막에는 p_full = 1 / (1 + exp(-F_250))로 만석확률을 만든다. 250개 나무의 다수결이 아니다. 앞선 답을 뒤 나무가 조금씩 고치는 누적 계산이다. 조기 종료는 쓰지 않았다. 250개를 끝까지 더했다.

Q. 얇은 셀은 어떻게 다루나?

정류장×시간 셀을 따로 외우는 규칙은 없다. 대신 한 잎에 최소 30건이 들어가야 한다. 나무 한 그루의 잎은 최대 63개다. 잎 보정값에는 L2 10을 건다. 얇은 셀 하나만으로 잎을 만들지 못하고, 같은 갈림길을 지난 다른 정류장·시각과 묶인다.

이것이 boosting식 풀링이다. 누구와 묶을지 미리 정하지 않고 잔여석·위치·시간의 경계로 정한다. 다만 나무 250개의 잎을 겹치면 최종 구역은 30건보다 훨씬 얇아질 수 있다. 규제가 있어도 운영 모델로 바로 쓰지 않는 이유다.

이 방식의 강점

• 사람이 미리 모든 조합을 쓰지 않아도 여러 특징이 함께 작용하는 패턴을 표현할 수 있다.
• 운영 후보가 놓친 신호의 여지를 같은 평가 규격 안에서 확인하는 참고선이 된다.
• 결측과 비선형 관계를 한 모델 안에서 다룰 수 있어 특징 집합의 정보량을 점검하는 데 도움이 된다.

연구 구현은 train 내부 시간순 OOF 예측으로 isotonic 보정을 맞췄다. 일일 평가의 이 모델 예측에는 별도 보정층을 적용하지 않으며, 보정층은 숫자 다듬기가 따로 다룬다.

Q. 실제 한 건은 어떻게 흘렀나?

아래 사례는 직접 수집분이 아니라 보조 코퍼스의 검증행이다.

학습분의 만석은 705/12,065건이었다. 시작 log-odds는 ln(705/11,360) = -2.7797, 만석확률은 .0584다.

첫 나무에서 이 행은 상류 잔여석 0 ≤ 1.5, 정류장 순번 55 ≤ 64를 차례로 통과했다. 학습률을 반영한 잎 보정값은 +.5084였다.

250개 잎 보정값의 합은 +5.1104였다. 최종 점수는 2.3307, raw 만석확률은 .9114가 됐다. 나무가 늘수록 확률이 한 방향으로만 움직이지는 않는다. 150개 뒤 .9365에서 마지막에는 .9114로 내려왔다.

train 내부 시간순 OOF 10,236건 중 만석 572건으로 맞춘 58개 임계점의 isotonic 보정기가 .9114를 .8577로 바꿨다. 실제 출발은 만석이었다. 한 건을 맞힌 사례일 뿐, 이 한 줄이 성능 증거는 아니다.

재료 한눈에

최종 입력은 46열이다. 문자열은 노선과 원천 표시만 숫자로 바꿨다. 크게 다섯 묶음이다 — 축·시각(만석 위험의 1차 구조), 상류 버스(곧 올 관측 버스의 현재 상태), 통과 버스(방금 지나간 공급), 통과 이력(점시각 없이 쓰는 과거 공급 간격), 노선 응답 요약(한 버스 밖의 노선 전체 혼잡 국면). 출발 뒤 만석 여부는 학습 정답으로만 쓰고, 현재 수집 계열 밖의 이전 연구 자료는 학습 입력과 비교선에서 제외한다.

쓰는 재료 47개 — 출처 필드까지

지금은 안 쓰는 재료 6개

• 차량 정원·점유율 — TBBMSVEHINFOM.SEAT_RDNG_PSN_CNT; 점유율 후보식 1-msgBody.busLocationList[].remainSeatCnt/TBBMSVEHINFOM.SEAT_RDNG_PSN_CNT20일 코퍼스 차량키가 plateNo 우선 HMAC이라 외부 정원과 조인된 차량이 0/77이다. 기존 231,048행의 capacity_exact도 모두 0이다. 관측 최대 잔여석은 정원의 하한일 뿐 고정 정원이 아니다. 라벨은 출발 후 좌석이 0인지에 정원이 필요 없다. 프로토타입의 defaultSeatCapacity=80은 분포 배열 상한이며 점유율 분모가 아니다.
• 혼잡도 — GBIS getBusLocationListv2 msgBody.busLocationList[].crowded공식 제공 노선유형은 13·15·23이고 대상 노선은 11이다. 직접 수집분에서 같은 잔여석 값에 다른 코드가 붙은 값이 26개 나와 잔여석만의 전역 함수라는 해석은 반증됐다. 다만 같은 (vehId, remainSeatCnt)에서는 충돌이 0셀이고 crowded만 바뀐 연속쌍도 0건이라 차량별 임계화일 가능성이 남는다. 산식은 미확정이고 아직 특징으로 써 보지 않았다.
• API queryTime 파생 시간 — GBIS getBusLocationListv2 msgHeader.queryTime; HTTP 응답 헤더 Date같은 노선 연속 38쌍 중 7쌍에서 queryTime이 뒤로 갔다. 직접 수집 92/92건에서는 응답 수신시각보다 미래였고 중앙 +17.265초였다. HTTP Date는 queryTime의 초 절삭과 92/92 일치해 독립 시계가 아니다. 감사 원문만 보존하고 나이·속도·헤드웨이·분할에 쓰지 않는다.
• 도착 ETA — GBIS getBusArrivalListv2 msgBody.busArrivalList[].predictTime1, msgBody.busArrivalList[].predictTime2, msgBody.busArrivalList[].predictTimeSec1, msgBody.busArrivalList[].predictTimeSec2; getBusArrivalItemv2 msgBody.busArrivalItem.predictTime1, msgBody.busArrivalItem.predictTime2, msgBody.busArrivalItem.predictTimeSec1, msgBody.busArrivalItem.predictTimeSec2공급자가 만든 예측값을 다시 설명변수로 배우는 구조가 된다. 분·초 필드 관계도 실측 6쌍 중 2쌍에서 맞지 않았다. v1 후보 입력에서 뺐다.
• 목표 차량 ID와 미래 출발 후 좌석·라벨 — msgBody.busLocationList[].remainSeatCnt; S1 label_remain_seats, label_full, target_vehicle_hashtarget_vehicle_hash는 차량 암기를 막기 위해 감사키로만 둔다. 출발 후 좌석과 label_full은 목표 통과 뒤 생기는 미래 정답이라 학습의 y로만 쓰고 예측 행렬에는 넣지 않는다.
• remainSeatCnt=-1을 0석으로 대치 — GBIS getBusLocationListv2 msgBody.busLocationList[].remainSeatCnt20일 코퍼스 차량행에서 -1은 69건이다. 좌석 미제공이며 만석 0과 뜻이 다르므로 결측으로 둔다.

모델 공통의 재료 판정과 후보별 사용 범위는 재료 문서에 있다.

Q. 언제 실패하나?

• 표본이 적은 정류장·시간대·결측 조합을 나무가 세밀하게 나누면 우연한 패턴을 외울 수 있다. 잎 하나는 최소 30건이어도 250개 잎의 교집합은 훨씬 얇아지고, 한 예측의 이유도 250개 경로를 합쳐야 나와 짧고 안정적인 운영 설명이 어렵다.
• 만석이 드문 표본에서는 거의 항상 낮은 확률을 내도 Brier가 작아 보일 수 있다. 만석 누락률과 표본을 함께 봐야 한다.
• 같은 평가 구간을 보며 특징과 설정을 반복해서 바꾸면 평가 구간 자체에 과적합된다. 현재 신뢰구간은 이 선택 불확실성을 담지 않으므로, 코드와 보정기를 얼린 뒤 새 연속 미래일로 다시 재야 한다.
• 수집 주기, 좌석 제공 방식, 노선 운행, 정류장 순서가 바뀌면 학습한 분기와 결측 패턴이 맞지 않을 수 있다. 보조 코퍼스와 직접 수집은 원문 필드와 결측 구조가 달라, 코퍼스에서 잘 먹힌 갈림길이 직접 원천에서도 통한다는 근거가 없다.
• 새 노선·새 정류장·새 시간 조합은 학습 때 본 분기와 다르다. 코퍼스 검증 10,040건 중 train에 없던 셀은 2건뿐이고 만석은 0건이라, 새 셀 성능은 아직 잰 적이 없다.
• 직접 수집분 재적합(학습 1,081건·만석 40건, 검증 443건·만석 14건)은 AUC .9595를 냈지만, 수집 날짜가 하루뿐이라 날짜 간 변동이 구간에 들어오지 않고 같은 날짜라 isotonic 보정 fold가 없어 예측이 raw다.
• 최근접 차량은 관측된 다음 버스(next_observed_bus)일 뿐이다. 90초 이하 구간에서도 숨은 제3차량 하한이 3330번 17.24%, 1650번 12.01%였다. 관측 열이 바뀌면 앞차·헤드웨이 특징도 함께 바뀐다.
• isotonic은 58개 임계점의 계단이라 보정 구간의 사건이 적으면 서로 다른 raw 점수가 같은 확률로 뭉친다. 보정이 적용되지 않았는데 적용된 것처럼 표시하면 원시 확률의 과신을 숨긴다.
• 만석이나 비만석 한쪽만 있는 작은 구간에서는 순위 지표를 계산할 수 없고, 임의의 값으로 채우면 안 된다.
• 이름의 상한은 이론적 최대가 아니다. 이번 특징 집합과 하이퍼파라미터 설정에서 얻은 최고 기록이다.

함께 읽을 한계

• 비운영 상한 참조이므로 점추정이 좋아 보여도 운영 후보가 되거나 이론적 최대 성능을 뜻하지 않는다.
• 현재 관측 기간·표본·특징 집합·모델 버전 밖의 성능은 이 결과로 알 수 없다.
• 복잡도, 응답 시간, 유지보수성, 설명 가능성을 포함한 운영 적합성은 이 참고 점수로 평가하지 않는다.

Q. 개인정보와 미래 정답은 어떻게 막나?

• 차량 식별자와 번호판은 동일 사건을 내부에서 연결하는 데만 쓰고, 다시 연결할 수 있는 가명 차량 키까지 모델 입력과 공개 산출물에서 제외한다.
• 예측 시점 뒤에 확인된 좌석과 날짜 경계를 넘은 정답은 해당 학습 구간에서 제거한다.
• 공개 페이지는 식별자를 제거한 승인 집계와 평가 결과만 읽는다.
• 발행 전 검사에서 원문 식별자, 개별 시각·장소 사례, 내부 경로가 발견되면 생성을 중단한다.

기존 프로토타입과 다른 점

프로토타입의 좌석 예보를 더 복잡하게 만든 모델이 아니다. 질문부터 바뀌었다. 이 모델은 몇 석 남는지, 몇 분 기다리는지, 몇 대 보내는지 답하지 않는다. 운영 후보가 상한과 얼마나 벌어졌는지만 잰다.

다음 평가 관문

• 정의된 점추정은 잠정 결과로 공개하고 Brier를 첫 지표로 둔다.
• 모델 코드와 특징 집합을 먼저 고정한 뒤 날짜 단위 순방향 평가를 반복해 작은 구간의 과적합과 결측 안정성을 확인한다.
• 참고 가능 관문을 지나도 비운영 상한 참조라는 역할은 그대로다. 운영 후보로 바꾸려면 설명·복잡도·지연·유지보수 기준을 정한 별도의 제품 결정과 새 평가가 필요하다.