Data Labeling
데이터 라벨링
데이터·DB 분야에서 쓰이는 용어로, 원시 데이터에 의미나 정답 태그를 붙여 머신러닝이 그 라벨로 학습할 수 있게 만드는 작업입니다. Scale AI 공식 가이드는 지도학습이 대량의 라벨 데이터로 모델을 학습시켜 분류나 예측을 하게 한다고 설명합니다. 모델 성능은 데이터와 라벨의 품질에 좌우됩니다. 그래서 자주 간과되지만 머신러닝에서 결정적인 작업으로 꼽힙니다. 최근에는 사람 라벨링에 머신러닝을 결합해 일부를 자동화하기도 합니다.
쉽게 말하면?
데이터 라벨링은 원시 데이터에 정답표를 붙이는 작업이에요. 사진마다 이건 고양이, 저건 강아지라고 하나하나 이름표를 달아 주는 식입니다. AI는 이 정답표를 보고 규칙을 익히기 때문에, 라벨이 부정확하면 아무리 좋은 모델도 엉뚱하게 헛배웁니다. 조교가 수천 장의 시험지에 일일이 정답 채점을 해 두면 그걸로 학생이 공부하는 상황을 떠올리면 가까워요. 그래서 라벨의 양과 품질이 곧 모델 성능이 되고, AI 프로젝트에서 가장 손이 많이 가는 밑작업으로 꼽힙니다.
한 줄로 비유하면?
납품 부품마다 검수 라벨을 붙여 창고에 넣는 입고 작업입니다.
어디에 쓰이나?
케이스 1ImageNet — 사람이 손으로 단 라벨이 딥러닝을 열다
스탠퍼드 연구진이 만든 ImageNet은 2009년 발표된 대규모 이미지 데이터베이스입니다 [4]. 공식 소개에 따르면 모든 이미지를 사람이 직접 주석하고 품질을 관리했습니다 [4]. 라벨이 붙은 이 대규모 데이터가 딥러닝 시대를 연 벤치마크가 됐습니다 [4]. 라벨 품질과 규모가 모델을 좌우한다는 것을 보여준 사례입니다.
도입효과: 이미지 14,197,122장·2만 1,841개 범주에 사람 주석 부여 (ImageNet 공식 규모) [4]
케이스 2AWS — SageMaker Ground Truth로 라벨링 자동화
AWS는 2018년 관리형 라벨링 서비스 SageMaker Ground Truth를 공개했습니다 [3]. 머신러닝으로 어떤 데이터를 사람이 라벨해야 할지 골라, 나머지는 자동 라벨링합니다 [3]. 사람과 기계를 섞어 대량 라벨링의 비용과 시간을 줄이는 구성입니다 [3]. 라벨링을 사람이 전부 하던 방식의 대안으로 제시됐습니다.
도입효과: 자동 데이터 라벨링으로 라벨링 비용 최대 70% 절감 (사람이 전량 라벨링하는 경우 대비) [3]
케이스 3크라우드웍스 — 국내 크라우드소싱 라벨링 [한국]
크라우드웍스는 2017년 4월 설립된 국내 크라우드소싱 기반 데이터 라벨링 기업입니다 [5]. 한국방송통신전파진흥원 발간물 인터뷰에 따르면 약 35만 명의 크라우드소싱 작업자를 두고 데이터 품질 99% 보증을 내세웠습니다 [5]. 약 130개 AI 기업을 지원했다고 소개됐습니다 [5]. 국내 AI 학습 데이터 공급의 대표 사례입니다.
도입효과: 크라우드소싱 작업자 약 35만 명, 데이터 품질 99% 보증 (KCA 발간물 소개 기준) [5]
케이스 4NIA — 디지털 뉴딜 AI 학습용 데이터 개방 [한국]
한국지능정보사회진흥원(NIA)은 디지털 뉴딜의 일환으로 AI Hub를 통해 학습용 데이터를 구축·개방했습니다 [6]. 정책브리핑에 따르면 2021년 6월 시점에 데이터 170종, 4억 8천만 건을 개방했습니다 [6]. 총 674개 기업·기관이 참여했고 국민 4만여 명이 크라우드소싱으로 참여했습니다 [6]. 공공이 대규모 라벨링 데이터를 개방한 사례입니다.
도입효과: AI 학습용 데이터 170종·4억 8천만 건 개방, 674개 기업·기관 참여 (2021년 6월 기준) [6]
주의할 점은?
오늘 바로 해보기
01. 자사가 만들고 싶은 AI가 무엇을 맞혀야 하는지 정답의 형태를 한 줄로 적습니다.
02. 샘플 데이터 스무 건에 직접 라벨을 붙여 보고, 애매해서 망설인 경우를 표시합니다.
03. 애매한 사례를 모아 라벨링 지침서 초안을 한 쪽으로 만듭니다.
04. Scale AI 가이드에서 라벨 품질이 모델 성능에 미치는 영향을 확인합니다 [1].
05. AI Hub에서 자사 과제와 가까운 공개 데이터가 이미 있는지 검색합니다 [6].
라벨링에는 구조적 한계가 있습니다. 대량 라벨링은 사람이 붙으면 느리고 비쌉니다 [3]. AWS는 이미지 100만 장을 라벨하려면 몇 명이 필요하겠느냐고 되물으며 확장성 병목을 지적합니다 [3]. 라벨 품질에 대한 의존도 큽니다. Scale AI는 모델의 성공이 데이터와 라벨 품질에 달려 있는데도 이 작업이 자주 간과된다고 적었습니다 [1]. 라벨 기준이 흔들리면 같은 데이터에도 라벨러마다 다른 답을 답니다 [1]. 라벨러 풀이 좁으면 특정 관점이 데이터에 그대로 배는 문제도 생깁니다 [1]. 지도학습 자체가 대량의 라벨 데이터를 전제로 해서, 이 밑작업 없이는 모델을 시작조차 하기 어렵습니다 [1]. 라벨 지침이 명확할수록 라벨러 사이의 편차가 줄어, 지침서 품질이 곧 데이터 품질이 됩니다 [1]. ImageNet도 1,400만 장이 넘는 이미지를 사람이 일일이 주석하며 만들어졌습니다 [4].
진화 방향은 두 갈래입니다.
- 사람 개입을 줄이는 자동·AI 보조 라벨링입니다. AWS Ground Truth는 사람이 라벨할 데이터를 머신러닝이 선별해, 사람이 전량 라벨링할 때보다 비용을 최대 70%까지 줄였습니다 [2][3].
- 모델 구조보다 데이터와 라벨 품질 개선에 무게를 두는 데이터 중심 AI로 초점이 옮겨가고 있습니다 [1]. Scale AI는 더 좋은 AI를 위해 더 많은 고품질 데이터와 정확한 라벨이 필요하다고 밝혔습니다 [1]. 국내에서는 크라우드웍스가 크라우드소싱으로 대규모 작업자를 모으고, NIA가 디지털 뉴딜의 일환으로 AI Hub에 학습용 데이터 170종을 개방하며 이 수요를 받쳐 왔습니다 [5][6]. 크라우드웍스는 2017년 설립 이후 대규모 작업자 풀을 쌓았고, 공공에서는 NIA가 4억 8천만 건 규모의 데이터를 개방해 진입 장벽을 낮췄습니다 [5][6]. 현재 시점에서는 자동 라벨링으로 초안을 만들고 사람이 검수하는 혼합 방식이 늘고 있습니다.
참고 자료
- Data Labeling: The Authoritative Guide — 공식 문서·Scale AI — https://scale.com/guides/data-labeling-annotation-guide
- Use Amazon SageMaker Ground Truth to Label Data — 공식 문서·AWS — https://docs.aws.amazon.com/sagemaker/latest/dg/sms.html
- Amazon SageMaker Ground Truth — Reduce Labeling Costs by up to 70% — 공식 블로그·AWS·2018 — https://aws.amazon.com/blogs/aws/amazon-sagemaker-ground-truth-build-highly-accurate-datasets-and-reduce-labeling-costs-by-up-to-70/
- About ImageNet — 데이터셋 공식 문서·ImageNet(Stanford)·2009 발표 — https://www.image-net.org/about.php
- ICT 우수 기업 소개 ㈜크라우드웍스 — 공공기관 발간물·KCA 한국방송통신전파진흥원 — https://www.kca.kr/hot_clips/vol88/sub04_1.html
- AI 학습용 데이터 170종 개방 — 정부 정책브리핑·대한민국 정책브리핑·2021 — https://www.korea.kr/news/policyNewsView.do?newsId=148888941
대표 출처
Scale AI·AWS·ImageNet·크라우드웍스·NIA 공식 (2009~2021) — 라벨링 정의·자동화·국내 데이터 구축이 페이지에 대한 의견을 남겨주세요
여러분의 의견은 다음 갱신에 반영됩니다.