Data Drift

케이스 1Instacart(미국) — 코로나가 무너뜨린 재고 예측

인스타카트의 상품 재고 예측 모델은 2020년 3월 코로나 사재기 국면에서 정확도가 93%에서 61%로 급락했습니다 ^[1]. 소비 패턴이 급변하며 학습 데이터가 현실을 대표하지 못하게 된 사례입니다 ^[1]. 학습 데이터 윈도를 10일로 줄이고 갱신 주기를 앞당겨 약 85%까지 회복했습니다 ^[1].
도입효과: 예측 정확도 93%에서 61%로 급락 후 재학습 주기 단축으로 약 85% 회복(2020년, 포춘 보도 기준) ^[1]

케이스 2Zillow(미국) — 예측 실패가 부른 사업 철수

질로우는 주택 매입 사업 질로우 오퍼스를 2021년 11월 종료하며 3분기 재고 평가손실 3억 400만 달러와 인력 약 25% 감축 계획을 발표했습니다 ^[2][3]. CEO는 주택 가격 예측의 변동성이 예상을 크게 넘었다고 밝혔습니다 ^[2]. 가격 급변기에 모델이 시장을 따라가지 못한 것이 보도된 요인 중 하나로, 드리프트 단독 원인은 아니지만 예측 모델 의존 사업의 위험을 보여줍니다 ^[3].
도입효과: 재고 평가손실 3억 400만 달러(2021년 3분기)+4분기 2억 4,000만~2억 6,500만 달러 추가 손실 전망, 인력 약 25% 감축(질로우 공시 기준) ^[2]

케이스 3미시간대 연구진 — 외부 병원에서 무너진 패혈증 예측

미시간대 연구진은 EHR 업체 에픽의 패혈증 예측 모델을 자기 병원 입원 3만 8,455건에 외부 검증해 2021년 JAMA 내과학회지에 발표했습니다 ^[4]. 개발사가 제시한 AUC 0.76~0.83과 달리 실측은 0.63에 그쳤고 패혈증 환자의 67%를 놓쳤습니다 ^[4]. 개발 환경과 배포 환경의 데이터 분포 차이가 성능 격차로 이어질 수 있음을 보여준 대표 사례입니다 ^[4].
도입효과: AUC 개발사 제시 0.76~0.83 대비 실측 0.63, 패혈증 환자 미탐지율 67%(2021년 외부 검증 기준) ^[4]

케이스 4카카오페이(한국) — 드리프트를 전제로 한 재학습 파이프라인

카카오페이는 이상거래탐지(FDS)·개인신용평가 모델 운영에서 데이터·콘셉트 드리프트로 인한 성능 저하를 전제로 MLOps 재학습 파이프라인을 설계했다고 기술블로그에 공개했습니다 ^[5]. 드리프트를 사고가 아니라 상수로 두고 지속 재학습으로 대응하는 국내 사례입니다 ^[5].
도입효과: FDS·개인신용평가(CSS)·유저 프로파일링 도메인에 드리프트 대응 재학습 파이프라인 적용(2022년 if kakao 발표 기준) ^[5]

오늘 바로 해보기
01. 운영 중인 모델이나 AI 기능의 정확도·전환율 같은 성과 지표가 주 단위로 기록되고 있는지 확인합니다. 기록이 없으면 드리프트는 보이지 않습니다.
02. 에비덴틀리 AI의 데이터 드리프트 가이드로 데이터 드리프트와 콘셉트 드리프트의 구분을 익힙니다 ^[6].
03. 한국어 개관은 삼성SDS의 ML 모니터링 리포트로 시작합니다 ^[7].
04. 입력 데이터의 기초 통계(평균·결측률·카테고리 분포)를 학습 시점과 현재로 나눠 비교해 봅니다. 간단한 표 하나가 첫 모니터링입니다.
05. 드리프트 감지 시 누가 언제 재학습을 결정하는지, 기준(예: 지표 몇 % 하락 시)과 담당을 문서로 정합니다.

한계와 진화
이 개념을 다룰 때는 원인 단정을 조심해야 합니다. 질로우 사례는 공격적 매입 전략 등 복합 원인이었고 드리프트는 그중 하나로 보도된 요인입니다 ^[3]. 에픽 사례도 엄밀히는 외부 검증 실패로, 분포 차이 관점에서 드리프트 논의에 연결되는 사례입니다 ^[4]. 지표 하락의 원인을 데이터·모델·비즈니스 변화로 분해해 보는 습관이 먼저입니다.
진화는 상시 모니터링의 표준화입니다. 오픈소스 에비덴틀리와 클라우드 3사의 관리형 모니터링이 드리프트 감지를 기본 기능으로 제공합니다 ^[6]. 대상도 표 형식 데이터에서 LLM 운영 지표로 넓어져, 드리프트 모니터링 도구들이 LLM 관측성 도구로 확장하고 있습니다 ^[6]. 인스타카트처럼 재학습 주기를 데이터 변화 속도에 맞추는 운영 설계가 실무 표준이 되고 있습니다 ^[8].