ETL 4장 카드뉴스

Extract(추출)·Transform(변환)·Load(적재)의 약자로, 여러 곳에 흩어진 데이터를 가져와 형식을 통일하고 분석용 데이터 창고에 적재하는 표준 데이터 처리 흐름이며 1980년대 미국 IT 산업에서 시작된 데이터 분석의 기본 절차입니다.

회사에는 영업팀 엑셀, 마케팅팀 Google Analytics, CS팀 슬랙 등 데이터가 흩어져 있습니다. ETL은 이걸 한곳에 모아 같은 형식으로 정리하는 작업입니다. 예: 매일 새벽 영업 데이터를 BigQuery로 옮기고, 매출 단위를 KRW로 통일하고, 분석가가 쿼리할 수 있게 정리. 한국에서는 토스·당근의 데이터팀이 ETL 파이프라인을 매일 운영하고, AI 시대에는 LLM 학습 데이터 정제도 ETL의 한 형태로 분류됩니다.

[당근 데이터 파이프라인] 구분: 매일 새벽 모든 서비스 로그를 BigQuery로 이전. 수치: 매일 1TB 이상 데이터 처리 {{src:당근 기술 블로그|https://medium.com/daangn}}. 결과: 분석가가 다음날 즉시 어제 데이터 분석. [Airbyte · 오픈소스 ETL] 구분: 300+ 데이터 소스를 한 도구로 연결. 수치: GitHub 스타 17만 개 {{src:Ai