Airflow
에어플로우
2014년 미국 Airbnb에서 시작해 2019년 Apache 재단으로 이관된 오픈소스 워크플로우 오케스트레이션 도구로, '매일 새벽 데이터 가공·매주 보고서 발송' 같은 정기 작업을 자동 실행·관리하는 ETL 표준 도구입니다.
쉽게 말하면?
회사에는 매일·매주 반복되는 작업이 많습니다. 예: 새벽 2시에 데이터 정제 → 3시에 분석 → 4시에 슬랙 보고. Airflow는 이런 작업 순서를 코드로 정의하고 자동 실행해 줍니다. Airbnb·Lyft·Netflix가 표준 도구로 쓰고, 한국 토스·당근·카카오 데이터팀도 매일 수백 개의 Airflow DAG(작업 흐름)를 운영합니다. AI 시대에는 'LLM 학습 데이터 정제·임베딩 벡터 생성' 같은 새 작업도 Airflow로 자동화됩니다.
한 줄로 비유하면?
Airflow는 작업장의 자동 베이커리입니다. 매일 새벽 정해진 시간에 빵을 굽고, 잘 됐는지 검사하고, 실패하면 알림을 보냅니다.
어디에 쓰이나?
Airbnb · 표준 사용
일·주·월 데이터 가공 파이프라인이 모두 Airflow.
결과: 분석가가 항상 최신 데이터로 작업.
당근 데이터 ETL
매일 새벽 BigQuery 적재를 Airflow로 자동화.
결과: 데이터팀이 수동 작업 시간을 거의 0으로.
주의할 점은?
Airflow가 표준이 된 이유는 세 가지입니다.
첫째, Python으로 작업 흐름을 정의. 익숙한 언어로 코드처럼 관리.
둘째, 시각화 UI. DAG 흐름·성공·실패·소요 시간이 한눈에 보임.
셋째, 풍부한 통합. AWS·GCP·Slack·BigQuery·Snowflake 등 300+ 도구 즉시 연결.
어떻게 발전해 왔나?
2014
Airbnb 시작
사내 도구로 출발.
2019
Apache 졸업
오픈소스 표준 프로젝트로 인증.
2024
AI 데이터 표준
LLM 학습·임베딩 자동화 표준 도구.
관련 태그
참고 자료
- Apache Airflow 공식 사이트 — 공식 대표 홈페이지 · Apache · 2026 접속 — https://airflow.apache.org/
- Airflow Docs — 공식 학습 자료 · Apache · 2025 — https://airflow.apache.org/docs/
- Airbnb Engineering — Airflow 원조 사례 · Airbnb · 2024 — https://medium.com/airbnb-engineering
- Astronomer — 관리형 Airflow 서비스 · Astronomer · 2025 — https://www.astronomer.io/
- 당근 기술 블로그 — 한국 Airflow 사례 · 당근 · 2024 — https://medium.com/daangn
대표 출처
Apache Airflow 공식 사이트이 페이지에 대한 의견을 남겨주세요
여러분의 의견은 다음 갱신에 반영됩니다.