AI for Everyone
보안·윤리

Federated Learning

페더레이티드 러닝

데이터를 중앙 서버로 모으지 않고 각 기기·기관에 둔 채, 로컬에서 계산한 모델 업데이트만 모아 공동 모델을 만드는 분산 기계학습 방식입니다. 한국어로는 연합학습이라고 부릅니다. 2016년 Google 연구진이 FedAvg 알고리즘 논문에서 처음 명명했습니다. 원본 데이터가 밖으로 나가지 않아 개인정보·기밀이 걸린 모바일·의료·금융 분야에서 주로 쓰입니다. 데이터 반출 없이 여러 기관이 협력해 하나의 모델을 키울 수 있다는 점이 핵심 가치입니다.

쉽게 말하면?

페더레이티드 러닝(Federated Learning), 우리말로 연합학습은 데이터를 모으는 대신 학습을 보내는 방식입니다. 각자의 스마트폰이나 병원 서버가 자기 데이터로 공부한 뒤, 데이터가 아니라 공부한 요약(모델 업데이트)만 중앙에 보내요. 중앙 서버는 이를 평균 내 공동 모델을 만들고 다시 나눠 줍니다. 개인정보를 내보내지 않고도 함께 배우는 구조라, 프라이버시 규제가 강한 분야에서 주목받습니다.

한 줄로 비유하면?

학생들이 시험지(데이터)를 학교에 제출하는 대신, 각자 집에서 공부한 요점 정리만 모아 반 전체의 공동 참고서를 만드는 방식입니다.

어디에 쓰이나?

케이스 1Google — Gboard 키보드 단어 예측

Google은 2017년 안드로이드 키보드 Gboard에 연합학습 적용을 공식 발표했습니다 [2]. 다음 단어 예측 모델을 150만 대 규모의 기기에서 학습시켰습니다 [3]. 충전 중·무과금 네트워크·대기 상태일 때만 참여시키는 조건을 걸었습니다 [3].
도입효과: 다음 단어 예측 정확도(top-1 recall) 상대 5% 개선(서버 학습 모델 대비, 클라이언트 데이터 평가 기준) [3]

케이스 2Mass General Brigham·NVIDIA — 5개 대륙 20개 의료기관의 코로나19 예측

5개 대륙 20개 의료기관이 환자 데이터를 반출하지 않고 코로나19 산소 치료 필요를 예측하는 EXAM 모델을 함께 학습했습니다 [4]. 응급실 도착 시점 데이터로 24·72시간 후를 예측합니다 [4]. 1만 6,148개 사례로 학습했습니다 [4].
도입효과: 평균 AUC 0.92 초과, 단일 기관 학습 대비 평균 AUC 16% 개선·일반화 성능 38% 향상(2021년 Nature Medicine 게재 기준) [4]

케이스 3Apple — 뉴스·음성인식의 온디바이스 개인화

Apple은 iOS 기기에서 연합 평가·튜닝 시스템을 운영하며 심층신경망 연합학습 지원을 더했습니다 [5]. 뉴스 개인화 파라미터를 연합 튜닝으로 최적화해 라이브 A/B 테스트에 적용했습니다 [5]. 음성인식에서는 사용자 어휘를 반영한 온디바이스 개인화를 결합했습니다 [5].
도입효과: 일일 기사 조회 수 +1.98%(기존 파라미터 대비), 사용자 어휘 발화의 단어 오류율 상대 16.4% 감소(개인화 미적용 대비) [5]

케이스 4K-MELLODDY(한국) — 데이터를 모으지 않는 신약개발 AI 공동 학습

과학기술정보통신부와 보건복지부는 2024년 4월 연합학습 기반 신약개발 프로젝트 K-MELLODDY를 시작했습니다 [6]. 제약사·병원·연구기관이 각자 데이터를 보유한 채 약물 특성(ADMET) 예측 모델을 공동 학습하는 구조입니다 [6]. 유럽 제약사들의 연합학습 프로젝트 MELLODDY의 한국판 성격입니다 [6].
도입효과: 총예산 348억 원·사업기간 5년(2024~2028)·세부과제 36개 — 진행 중 사업으로 모델 성능 수치는 미공개(2024년 출범 기준) [6]

주의할 점은?

오늘 바로 해보기
01. Google AI의 연합학습 공식 웹툰(federated.withgoogle.com)을 읽고 다섯 단계 흐름을 그림 한 장으로 정리합니다 [2].
02. Flower 프레임워크의 'What is Federated Learning?' 튜토리얼 1편을 읽고 '학습을 데이터가 있는 곳으로 보낸다'는 문장을 내 말로 옮겨 봅니다.
03. TensorFlow Federated의 이미지 분류 튜토리얼을 Colab에서 열어 실행해 봅니다.
04. 내 조직에서 '데이터를 한곳에 못 모으는 이유'(규제·계약·부서 간 장벽)를 3개 적고, 연합학습이 대안이 되는 경우를 표시합니다.
05. 연합학습만으로는 부족하고 차등 프라이버시를 함께 쓰는 것이 현재 표준이라는 점을 확인합니다 [7].

한계와 진화
한계는 세 가지가 큽니다.

  1. 통신 비용입니다. 수많은 기기와 업데이트를 주고받는 구조라, 원조 논문의 핵심 기여도 통신 라운드를 10~100분의 1로 줄이는 것이었습니다 [1].
  2. 데이터 이질성입니다. 기기·기관마다 데이터 분포가 달라(non-IID) 학습이 불안정해지거나 정확도가 떨어질 수 있습니다 [8].
  3. 프라이버시가 자동으로 보장되지는 않습니다. 모델 업데이트만 공유해도 원본 정보 일부를 복원하려는 공격이 연구로 보고돼, 연합학습 단독으로는 안전을 장담하기 어렵습니다 [8]. 그래서 진화의 방향도 '결합'입니다. Google은 2022년 차등 프라이버시를 공식 보장하는 프로덕션 연합학습을 발표했고, 이후 Gboard 언어모델 학습에 이 방식을 기본으로 못 박았습니다 [7]. 의료에서는 EXAM처럼 다기관 협력 모델이 대표 사례로 자리 잡았고 [4], 국내에서는 K-MELLODDY가 제약 분야에서 연합학습을 검증하고 있습니다 [6]. 프라이버시 규제가 강한 산업일수록 활용 폭이 넓어지는 흐름입니다.

참고 자료

  1. Communication-Efficient Learning of Deep Networks from Decentralized Data — arXiv 논문·Google(McMahan 외)·2016 — https://arxiv.org/abs/1602.05629
  2. Federated Learning: Collaborative Machine Learning without Centralized Training Data — 공식 블로그·Google Research·2017 — https://research.google/blog/federated-learning-collaborative-machine-learning-without-centralized-training-data/
  3. Federated Learning for Mobile Keyboard Prediction — arXiv 논문·Google·2018 — https://arxiv.org/abs/1811.03604
  4. Federated learning for predicting clinical outcomes in patients with COVID-19 — 저널 논문·Nature Medicine·2021 — https://www.nature.com/articles/s41591-021-01506-3
  5. Federated Evaluation and Tuning for On-Device Personalization — arXiv 논문·Apple·2021 — https://arxiv.org/abs/2102.08503
  6. 연합학습 기반 신약 개발 첫 발 뗐다(K-MELLODDY) — 권위 매체·의협신문·2024 — https://www.doctorsnews.co.kr/news/articleView.html?idxno=154332
  7. Federated Learning with Formal Differential Privacy Guarantees — 공식 블로그·Google Research·2022 — https://research.google/blog/federated-learning-with-formal-differential-privacy-guarantees/
  8. Advances and Open Problems in Federated Learning — arXiv 서베이·Kairouz 외 공동·2021 — https://arxiv.org/abs/1912.04977

대표 출처

arXiv 논문 (2016) · Google(McMahan 외), Communication-Efficient Learning of Deep Networks from Decentralized Data
카드뉴스로 공유하기 다른 AI 용어 보기