A/B Test
에이비 테스트
두 가지 디자인·문구·기능을 동시에 운영하며 어느 쪽이 더 좋은 성과를 내는지 데이터로 비교하는 실험 방식으로, 1990년대 미국 IT 산업에서 시작되어 한국·미국 모든 대형 서비스의 표준 의사결정 도구입니다.
쉽게 말하면?
어떤 버튼 문구가 더 잘 눌릴까? '지금 시작하기' vs '무료로 체험하기'를 동시에 노출해 사용자 절반은 A, 절반은 B를 보게 한 뒤 클릭률을 비교합니다. Netflix·Amazon·토스·당근이 매일 수십 건의 A/B 테스트를 돌립니다. 한국에서는 토스가 '월 1,000개 실험'으로 유명합니다. AI 시대에는 ChatGPT API로 두 가지 답변 톤을 비교하는 'AI A/B 테스트'까지 등장했습니다.
한 줄로 비유하면?
A/B 테스트는 같은 시간에 두 가지 메뉴를 동시에 시험 판매하는 식당입니다. 어느 쪽이 더 잘 팔리는지 실제 매출로 결정합니다.
어디에 쓰이나?
토스 · 월 1,000개 실험
토스는 모든 신규 기능을 A/B 테스트로 출시 여부 결정.
결과: 데이터 기반 결정으로 출시 실패 비율 최소화.
Netflix · 추천 알고리즘
추천 알고리즘 한 줄 변경도 A/B 테스트로 검증.
결과: 추천 정확도가 매 분기 향상.
주의할 점은?
A/B 테스트가 입문자에게 중요한 이유는 세 가지입니다.
첫째, 의견 대신 데이터로 결정합니다. '나는 이게 좋다' 같은 주관 대신 실제 사용자 반응을 봅니다.
둘째, 작은 변화도 큰 차이를 만듭니다. 결제 버튼 색만 바꿔도 매출이 5~10% 변할 수 있다는 사례가 다수 있습니다.
셋째, 한국에서는 카카오·네이버·토스가 A/B 테스트 인프라를 자체 구축했고, 비전공자(기획자·마케터)도 직접 실험을 만들고 결과를 봅니다.
어떻게 발전해 왔나?
2000
Google 검색 결과 실험
Google이 'A/B 테스트' 용어를 대중화.
2015
한국 도입 확산
토스·카카오가 A/B 테스트 인프라 구축.
2025
AI A/B 테스트
LLM 답변 톤 비교 같은 새 실험 영역 등장.
관련 태그
참고 자료
- HBR — A/B 테스트 산업 표준 가이드 공식 대표 자료 · Harvard Business Review · 2017 — https://hbr.org/2017/09/the-surprising-power-of-online-experiments
- 토스 SLASH 2024 — 월 1,000건 실험 사례 · 토스 · 2024 — https://toss.tech/slash-24
- Netflix Tech Blog — A/B 테스트 운영 사례 · Netflix · 2024 — https://netflixtechblog.com/
- Optimizely — A/B 테스트 도구 표준 · Optimizely · 2025 — https://www.optimizely.com/
- GrowthBook — 오픈소스 A/B 테스트 · GrowthBook · 2025 — https://www.growthbook.io/
대표 출처
Harvard Business Review · Optimizely이 페이지에 대한 의견을 남겨주세요
여러분의 의견은 다음 갱신에 반영됩니다.