Airflow 4장 카드뉴스

2014년 미국 Airbnb에서 시작해 2019년 Apache 재단으로 이관된 오픈소스 워크플로우 오케스트레이션 도구로, '매일 새벽 데이터 가공·매주 보고서 발송' 같은 정기 작업을 자동 실행·관리하는 ETL 표준 도구입니다.

회사에는 매일·매주 반복되는 작업이 많습니다. 예: 새벽 2시에 데이터 정제 → 3시에 분석 → 4시에 슬랙 보고. Airflow는 이런 작업 순서를 코드로 정의하고 자동 실행해 줍니다. Airbnb·Lyft·Netflix가 표준 도구로 쓰고, 한국 토스·당근·카카오 데이터팀도 매일 수백 개의 Airflow DAG(작업 흐름)를 운영합니다. AI 시대에는 'LLM 학습 데이터 정제·임베딩 벡터 생성' 같은 새 작업도 Airflow로 자동화됩니다.

[Airbnb · 표준 사용] 구분: 일·주·월 데이터 가공 파이프라인이 모두 Airflow. 수치: 수천 개 DAG 매일 실행 {{src:Airbnb Engineering|https://medium.com/airbnb-engineering}}. 결과: 분석가가 항상 최신 데이터로 작업. [당근 데이터 ETL] 구분: 매일 새벽 BigQuery 적재를 Airflow로 자동화. 수치: 매일