Overfitting

케이스 1구글 — 독감 예측 서비스가 실제 유행을 2배 넘게 부풀린 사례

구글 독감 트렌드는 검색어 빈도로 독감 유사질환 진료 비율을 추정하는 서비스였습니다 ^[1]. 학술지 Science의 2014년 분석에 따르면 개발 방식은 5,000만 개 검색어 중에서 1,152개 데이터 포인트에 가장 잘 맞는 조합을 찾는 것이었습니다 ^[1]. 독감과 구조적 관련이 없는데 우연히 곡선이 겹치는 검색어가 뽑힐 확률이 높은 설계였습니다 ^[1]. 겨울에 함께 오르는 계절성 검색어를 독감 신호로 오인한 점이 실패 원인으로 지목됐습니다 ^[1].
도입효과: 2011년 8월 이후 108주 중 100주에서 CDC 실측치 대비 과대 추정, 2012~2013 시즌에는 CDC 대비 2배가 넘는 진료 비율 예측 ^[1]

케이스 2마운트시나이·NIH 등 — 흉부 X선 폐렴 판독 모델이 병원을 바꾸자 성능 하락

PLOS Medicine 2018년 연구는 폐렴 검출 모델을 한 기관 데이터로 학습시킨 뒤 다른 기관 데이터로 검증했습니다 ^[2]. 모델이 병변 소견이 아니라 기관별 촬영 흔적을 함께 학습했다는 점이 확인됐습니다 ^[2]. 실제로 모델은 영상의 출처 기관을 99.9% 이상의 정확도로 맞혔고, 같은 병원 안의 이동식 입원 촬영과 응급실 촬영도 100% 구분했습니다 ^[2]. 두 부서의 폐렴 유병률이 41.1% 대 32.8%로 달랐기 때문에 이 흔적만 읽어도 점수가 오르는 구조였습니다 ^[2].
도입효과: AUC 기준 내부 0.802 대 외부 0.717(P < 0.001), 합동 학습 모델은 내부 0.931 대 외부 0.815(P = 0.001) ^[2]

케이스 3서울아산병원 연구진 — 의료영상 AI 논문의 외부검증 실태 전수 조사

울산대 의대 서울아산병원 등 국내 연구진은 최근 발표된 의료영상 AI 진단 논문의 설계를 전수 검토했습니다 ^[3]. 학습에 쓰지 않은 외부 데이터로 확인하지 않으면 보고된 정확도가 과적합의 산물인지 구분할 수 없다는 문제의식이었습니다 ^[3]. 검토 결과 대다수는 임상 성능 검증이 아니라 기술 실현 가능성을 보이는 단계의 연구였습니다 ^[3]. 같은 연구 그룹은 2020년 대한의사협회지에서도 복잡한 알고리즘일수록 학습 데이터에서만 높은 정확도를 보인다고 지적했습니다 ^[4].
도입효과: 대상 논문 516편 중 외부검증 수행 31편(6%), 진단 코호트 설계·다기관 데이터·전향적 수집 세 조건을 모두 갖춘 논문 0편 ^[3]

케이스 4캐글 대회 120건 분석 — 리더보드 반복 제출의 과적합은 대회 규모에 좌우

연구진은 캐글 대회 120건, 제출 10만 건 이상을 모아 공개 리더보드 점수와 비공개 최종 점수를 비교했습니다 ^[5]. 참가자가 공개 점수를 보고 모델을 반복 수정하면 그 점수에 적응적으로 과적합된다는 우려가 오랫동안 있었습니다 ^[5]. 분석 결과 전반적으로는 실질적 과적합의 증거가 거의 없었습니다 ^[5]. 다만 비공개 테스트 세트가 90~209건 수준으로 작은 대회에서는 두 점수의 격차가 크게 벌어졌습니다 ^[5].
도입효과: 분류 과제에서 적응적 과적합을 피하려면 테스트 세트 규모를 최소 1만 건으로 두라는 기준 제시 ^[5]

오늘 바로 해보기
01. 보유 데이터를 학습·검증·테스트 세 덩어리로 나누고, 테스트 세트는 최종 1회만 열도록 잠급니다.
02. 학습 곡선과 검증 곡선을 같은 축에 그려 두 선이 갈라지는 지점을 찾습니다. 그 지점이 과적합 시작점입니다.
03. 검증 손실이 더 내려가지 않는 구간이 이어지면 조기종료를 걸고, 정규화 계수와 드롭아웃 비율을 한 번에 하나씩만 바꿔 봅니다.
04. 데이터에 기관·장비·촬영부서·수집기간 같은 출처 표식이 섞였는지 점검합니다. 별도 분류기로 출처를 맞힐 수 있는지 확인하는 방법이 있습니다 ^[2].
05. 배포 전에 다른 기관 또는 다른 기간 데이터로 외부검증을 한 번 더 돌리고, 내부 성능과의 차이를 문서에 남깁니다 ^[3].

한계와 진화
과적합을 모델 복잡도만의 함수로 보는 관점에는 한계가 있습니다. 고전 통계는 복잡도를 올리면 시험 오차가 U자를 그리며 다시 올라간다고 봤습니다. Belkin 등은 2019년 PNAS 논문에서 그 U자 뒤에 두 번째 하강 구간이 있다는 이중 하강(double descent)을 제시했습니다 ^[6]. 학습 데이터를 완전히 맞히는 보간 임계점을 지나 용량을 더 키우면 시험 오차가 다시 떨어진다는 관찰이며, 랜덤 푸리에 특징·랜덤 포레스트·신경망에서 같은 패턴이 재현됐습니다 ^[6].
Nakkiran 등은 2019년 이 현상이 모델 크기뿐 아니라 학습 에폭 수와 표본 수에 대해서도 나타난다고 보고했습니다 ^[7]. 유효 모델 복잡도라는 개념으로 세 축을 묶었고, 학습 표본을 네 배로 늘렸는데 시험 성능이 오히려 나빠지는 구간도 확인했습니다 ^[7]. 다만 이는 과적합이 사라졌다는 뜻이 아닙니다. 데이터 분포가 바뀌는 현장에서는 외부검증이 여전히 유일한 확인 수단입니다 ^[3]. 검증 세트 점수가 좋다는 사실과 새 환경에서 잘 작동한다는 사실은 서로 다른 명제입니다.