Kafka
카프카
2011년 미국 LinkedIn에서 시작해 Apache 재단으로 이관된 오픈소스 분산 메시지·이벤트 스트리밍 플랫폼으로, 매초 수백만 건의 데이터를 안전하게 흘려 보내는 현대 대형 서비스의 핵심 인프라입니다.
쉽게 말하면?
Kafka는 '데이터 흐름의 고속도로'입니다. 예: 사용자가 토스에서 결제 누르면 → 결제 이벤트가 Kafka로 흘러 → 동시에 회계 시스템·마케팅·CS·분석팀이 같은 이벤트를 받습니다. LinkedIn·Netflix·Uber가 표준으로 쓰고, 한국 토스·당근·라인·네이버가 모두 Kafka 위에서 운영됩니다. AI 시대에는 LLM 응답·임베딩 작업·실시간 모니터링도 Kafka로 흘립니다.
한 줄로 비유하면?
Kafka는 회사 게시판 시스템입니다. 한 사람이 게시판에 글을 올리면 관심 있는 모든 부서가 그것을 봅니다.
어디에 쓰이나?
Netflix · 실시간 추천
시청 이벤트가 Kafka를 통해 추천 엔진으로 즉시 전달.
결과: 시청 중 추천이 실시간으로 갱신.
토스 · 결제 이벤트
결제 1건이 회계·마케팅·CS 시스템에 동시 전달.
결과: 사용자에게 즉시 알림·영수증.
주의할 점은?
Kafka가 표준이 된 이유는 세 가지입니다.
첫째, 안정성. 데이터 유실 없이 분산 저장.
둘째, 확장성. 트래픽 늘면 노드를 추가해 수평 확장.
셋째, 생태계. Kafka Connect·Streams·ksqlDB로 데이터 변환·분석까지 가능. AWS MSK·Confluent Cloud로 관리형 운영도 표준.
어떻게 발전해 왔나?
2011
LinkedIn 공개
사내 도구로 출발 후 오픈소스 공개.
2014
Apache 졸업
오픈소스 표준 프로젝트로 인증.
2024
AI 이벤트 표준
LLM·임베딩·모니터링 등 AI 이벤트 표준 통로.
관련 태그
참고 자료
- Apache Kafka 공식 사이트 — 공식 대표 홈페이지 · Apache · 2026 접속 — https://kafka.apache.org/
- Kafka Docs — 공식 학습 자료 · Apache · 2025 — https://kafka.apache.org/documentation/
- Confluent — 상용 관리형 Kafka · Confluent · 2025 — https://www.confluent.io/
- LinkedIn Engineering — Kafka 원조 사례 · LinkedIn · 2024 — https://engineering.linkedin.com/
- 토스 SLASH 2024 — 한국 Kafka 사례 · 토스 · 2024 — https://toss.tech/slash-24
대표 출처
Apache Kafka 공식 사이트이 페이지에 대한 의견을 남겨주세요
여러분의 의견은 다음 갱신에 반영됩니다.