Model Collapse

케이스 1옥스퍼드대 등 연구진(영국) — 네이처에 실린 붕괴 실험

연구진은 언어 모델의 출력물을 다음 세대 학습 데이터로 쓰는 과정을 반복했습니다 ^[1]. 세대가 지날수록 분포의 꼬리, 즉 드문 정보가 먼저 사라졌고 9세대에 이르자 원문과 무관한 반복 문장이 나왔습니다 ^[1][2]. 무분별한 합성 데이터 재학습의 위험을 보여준 대표 실험입니다.
도입효과: 반복 학습 9세대 만에 출력 붕괴 확인, 저빈도 정보 소실이 선행(네이처 논문 기준) ^[1]

케이스 2후속 연구(미국 등) — 조건에 따라 달라지는 위험

후속 연구는 원본 데이터를 버리고 전량 교체하며 학습할 때 붕괴가 빠르고, 사람 데이터를 누적 유지하면 저하가 완화된다고 분석했습니다 ^[3]. 모델 붕괴가 필연이 아니라 데이터 관리 방식의 문제라는 반론입니다 ^[3]. 실무에서는 합성 데이터의 비율과 검증 관리가 핵심 변수라는 뜻입니다.
도입효과: 데이터 누적 유지 방식에서 성능 저하 완화 관찰(후속 논문 기준) ^[3]

케이스 3업계 논의(글로벌) — 통제된 합성과 무통제 재학습의 경계

합성 데이터는 이미 모델 학습에 널리 쓰이고, 통제된 증류·합성은 성능을 높이기도 합니다 ^[4]. 문제는 출처를 모르는 AI 생성물이 웹을 채우며 일어나는 무자각 재학습입니다 ^[4]. 그래서 데이터 출처 표기와 사람 생산 데이터 확보 경쟁이 치열해지고 있습니다.
도입효과: 통제된 합성(증류)과 무통제 재학습을 구분하는 관리 기준 정착(업계 해설 기준) ^[4]

케이스 4국내 확산(한국) — 데이터 품질 화두로 번진 논의

국내에서도 모델 붕괴는 학습 데이터 품질 이슈로 소개되며 전문지와 개발자 커뮤니티에서 다뤄지고 있습니다 ^[2][5]. 합성 데이터 활용이 늘어나는 만큼 사람 데이터와 AI 생성 데이터를 구분·관리하는 체계가 국내 기업에도 요구된다는 논의가 이어집니다 ^[4][5].
도입효과: 국내 전문지·커뮤니티 해설 확산, 데이터 출처 구분 논의 활성화(보도 기준) ^[2][5]

오늘 바로 해보기
01. 팀에서 AI로 만든 문서와 사람이 쓴 문서를 폴더나 태그로 구분해 저장하기 시작합니다.
02. AI 생성 초안을 사내 지식베이스에 넣을 때는 사람 검수 완료 표시를 남깁니다.
03. 파인튜닝이나 RAG용 데이터를 모을 때 출처(사람·AI·혼합)를 메타데이터로 기록합니다.
04. 네이처 논문 해설 기사로 붕괴 메커니즘(드문 정보부터 소실)을 이해합니다 ^[2][6].
05. 합성 데이터를 쓴다면 원본 데이터를 버리지 않고 누적 유지하는 원칙을 정합니다 ^[3].

한계와 진화
한계는 실험실과 현실의 거리입니다. 대표 실험은 통제된 반복 학습 조건의 결과로, 실제 대형 모델 학습은 데이터 혼합과 필터링을 거쳐 단순 반복과는 다릅니다 ^[3]. 붕괴의 시점과 정도는 조건에 따라 크게 달라 과장도 과소평가도 경계해야 합니다.
진화는 데이터 거버넌스입니다. 사람 생산 데이터의 가치 상승, 콘텐츠 라이선스 계약, AI 생성물 표시·워터마킹 같은 출처 구분 장치가 함께 발전하고 있습니다 ^[4]. 합성 데이터를 쓰되 품질 검증과 원본 비율을 관리하는 운영 원칙이 모델 개발의 기본기로 자리 잡는 중입니다.