ETL
이티엘
Extract(추출)·Transform(변환)·Load(적재)의 약자로, 여러 곳에 흩어진 데이터를 가져와 형식을 통일하고 분석용 데이터 창고에 적재하는 표준 데이터 처리 흐름이며 1980년대 미국 IT 산업에서 시작된 데이터 분석의 기본 절차입니다.
쉽게 말하면?
회사에는 영업팀 엑셀, 마케팅팀 Google Analytics, CS팀 슬랙 등 데이터가 흩어져 있습니다. ETL은 이걸 한곳에 모아 같은 형식으로 정리하는 작업입니다. 예: 매일 새벽 영업 데이터를 BigQuery로 옮기고, 매출 단위를 KRW로 통일하고, 분석가가 쿼리할 수 있게 정리. 한국에서는 토스·당근의 데이터팀이 ETL 파이프라인을 매일 운영하고, AI 시대에는 LLM 학습 데이터 정제도 ETL의 한 형태로 분류됩니다.
한 줄로 비유하면?
ETL은 식자재 마트입니다. 각지에서 식자재를 가져와(E) 손질하고(T) 진열대에 정리해(L) 요리사(분석가)가 바로 쓸 수 있게 합니다.
어디에 쓰이나?
당근 데이터 파이프라인
매일 새벽 모든 서비스 로그를 BigQuery로 이전.
결과: 분석가가 다음날 즉시 어제 데이터 분석.
Airbyte · 오픈소스 ETL
300+ 데이터 소스를 한 도구로 연결.
결과: 비전공자도 클릭으로 ETL 구축.
주의할 점은?
ETL이 AI 시대 더 중요해진 이유는 세 가지입니다.
첫째, AI 학습 데이터 정제가 ETL입니다. 인터넷 글을 모아 → 욕설·중복 제거 → 학습 형식으로 변환.
둘째, RAG 챗봇 구축의 표준 절차. 회사 문서를 임베딩 벡터로 변환해 DB에 적재하는 것도 ETL.
셋째, ELT(Extract·Load·Transform) 같은 변형이 등장. 'Load 먼저, Transform은 BigQuery에서 SQL로'가 현대 트렌드.
어떻게 발전해 왔나?
관련 태그
참고 자료
- IBM ETL Guide — 공식 대표 학습 자료 · IBM · 2026 접속 — https://www.ibm.com/topics/etl
- Airflow 공식 사이트 — 표준 ETL 도구 · Apache · 2025 — https://airflow.apache.org/
- Airbyte — 오픈소스 ETL · Airbyte · 2025 — https://airbyte.com/
- dbt — Transform 표준 · dbt Labs · 2025 — https://www.getdbt.com/
- 당근 기술 블로그 — 한국 ETL 사례 · 당근 · 2024 — https://medium.com/daangn
대표 출처
IBM Cloud Learn · Airflow Docs이 페이지에 대한 의견을 남겨주세요
여러분의 의견은 다음 갱신에 반영됩니다.