고객 리뷰 1,000건을 AI로 분류·요약하는 6단계

이런 상황이라면

쇼핑몰·앱 리뷰, 상담 후기, 설문 주관식 답변이 매주 수백 건씩 쌓이는데 읽는 사람은 없습니다. 소비자 97%가 리뷰를 읽고 구매를 결정하는 시대에 ^[5], 정작 운영자는 리뷰를 다 읽지 못합니다. 이 워크플로우는 리뷰 1,000건을 챗GPT나 클로드로 분류하고 요약해, 개선 과제 목록으로 바꾸는 절차입니다. 대상 독자는 개발자가 아닌 운영·CS·마케팅 실무자입니다.

도입 전과 후

• 도입 전 — 리뷰 태깅은 사람 몫이었습니다. 연구 기준으로 크라우드소싱 주석 비용은 건당 약 0.11달러였고, 1,000건이면 며칠짜리 수작업입니다 ^[1]
• 도입 후 — 같은 연구에서 ChatGPT의 주석 비용은 건당 0.003달러 미만, 약 20분의 1이었습니다 ^[1]. 분류 정확도는 5개 과제 중 4개에서 크라우드워커를 앞섰고, 일관성은 전 과제에서 높았습니다 ^[1]
• 12개 언어 4만 8,000건 텍스트 감성·감정 분석에서도 GPT 계열이 기존 사전 기반 도구를 크게 앞섰습니다(인간 판정과의 상관 0.59~0.77 대 0.20~0.30) ^[2]
• 국내 대기업은 이미 같은 방향으로 갑니다. LG유플러스는 월 200만 건 상담을 AI로 분석·분류하고 ^[6], 무신사는 리뷰 2,100만 건을 학습한 AI 요약을 운영합니다 ^[7]

한 가지 주의가 필요합니다. 위 연구들은 트윗·뉴스 같은 텍스트가 대상이라, 우리 리뷰에서도 같은 정확도가 나온다는 보장은 없습니다 ^[1]. 그래서 6단계 중 검증 단계를 반드시 거칩니다.

전체 흐름

리뷰 내보내기 → 분류 기준표 설계 → 표본 30건 테스트 → 일괄 분류 → 요약·집계 → 사람 검증·정례화 순서입니다. 핵심은 AI에게 판단을 통째로 맡기는 것이 아니라, 기준표를 사람이 정하고 AI는 그 기준을 대량 적용하게 하는 역할 분담입니다.

단계별 설계

1단계 — 리뷰 데이터 모으기. 판매 채널·앱스토어·설문에서 리뷰를 스프레드시트로 내보냅니다. 주문번호·이름·연락처 같은 개인정보 열은 삭제하고 리뷰 본문과 날짜, 평점만 남깁니다.

2단계 — 분류 기준표 만들기. 카테고리를 5~8개로 정하고 각각을 한 문장으로 정의합니다. 경계가 모호한 카테고리가 분류 오류의 최대 원인이므로, 정의를 명확히 쓰는 데 시간을 씁니다 ^[3].

3단계 — 표본 30건으로 테스트. 전체를 돌리기 전에 표본으로 프롬프트를 다듬습니다. 애매한 사례일수록 좋은 Few-shot 예시가 됩니다. 벡터 검색 기반 예시 선택으로 분류 정확도를 71%에서 93%까지 끌어올린 사례가 공식 가이드에 실려 있습니다 ^[3].

4단계 — 일괄 분류 실행. 아래 프롬프트처럼 출력 형식을 JSON으로 고정하면 결과를 그대로 스프레드시트에 붙일 수 있습니다. 형식 강제는 구조화 출력 기능을 쓰면 더 안정적입니다 ^[4]. 한 번에 50~100건씩 나눠 넣습니다.

당신은 고객 리뷰 분류 담당자입니다. 아래 기준표에 따라 각 리뷰를 분류하세요.

[분류 기준]
- 배송: 배송 속도·포장 상태·파손 관련 언급
- 품질: 제품 내구성·마감·불량 관련 언급
- 사이즈: 크기·핏 관련 언급
- 가격: 가격 대비 만족·불만
- CS: 문의 응대·교환·환불 경험
- 기타: 위 어디에도 해당하지 않음

[예시]
리뷰: "배송은 빨랐는데 박스가 찌그러져 왔어요"
→ {"category": ["배송"], "sentiment": "부정", "summary": "배송 빠름, 포장 파손"}

[출력 형식]
JSON 배열로만 답하세요. 각 항목: {"id": 번호, "category": [분류], "sentiment": "긍정|중립|부정", "summary": "한 줄 요약"}

[리뷰 목록]
(여기에 리뷰 50건 붙여넣기)

5단계 — 요약·집계. 분류 결과를 받아 카테고리별 건수와 부정 비율을 집계하고, 카테고리마다 대표 리뷰 2~3건을 인용해 달라고 요청합니다. 마지막으로 "이번 달 개선 과제 3가지를 근거 리뷰와 함께 제안해 줘"라고 시키면 보고서 초안이 나옵니다.

6단계 — 사람 검증과 정례화. 분류 결과에서 무작위 10%를 뽑아 직접 대조하고 일치율을 기록합니다. 일치율이 낮은 카테고리는 기준표 정의부터 고칩니다. 검증을 통과한 프롬프트는 팀 문서로 저장하고 월간 반복 업무로 만듭니다.

주의점

• 지어낸 요약 경계 — 요약에 원문에 없는 내용이 섞일 수 있습니다. 인용을 시킬 때는 원문 그대로 옮기게 하고, 중요한 판단 전에는 원문을 확인합니다. 할루시네이션 항목을 참고하세요.
• 연구와 실무의 간극 — 인용한 정확도 수치는 정치·소셜미디어 텍스트 기준입니다 ^[1][2]. 우리 도메인에서의 일치율은 6단계 검증으로 직접 확인해야 합니다.
• 개인정보 — 리뷰에 전화번호·주소가 섞여 있을 수 있습니다. 입력 전에 제거하고, 회사의 AI 사용 정책을 따릅니다.
• 조작 리뷰는 별개 문제 — 허위 리뷰 탐지는 분류·요약과 다른 과제로, 배달의민족처럼 별도 시스템으로 다루는 영역입니다 ^[8].

확장

• 검증을 통과한 기준표·프롬프트를 사내 GPTs나 클로드 프로젝트로 만들어 팀 전체가 쓰게 합니다
• 리뷰에서 상담 기록·설문 주관식으로 대상을 넓히면 LG유플러스형 VOC 분석에 가까워집니다 ^[6]
• 월간 집계를 자동화 도구(Make, n8n 등)와 연결하면 리뷰 수집부터 보고서 초안까지 상시 파이프라인이 됩니다

바로 열어볼 자료

• Anthropic 분류 공식 가이드 — 기준 정의·예시 선택·평가 방법 ^[3]
• OpenAI Structured Outputs 문서 — JSON 출력 강제 방법 ^[4]