AI for Everyone
보안·윤리

Differential Privacy

디퍼렌셜 프라이버시

차분 프라이버시는 분석 결과에 통계적 잡음을 더해, 특정 개인 한 명의 데이터가 포함되든 빠지든 결과 분포가 거의 달라지지 않도록 만드는 수학적 정의입니다. 2006년 Dwork, McSherry, Nissim, Smith가 함수의 민감도에 비례해 잡음 크기를 맞추는 방식으로 제시했습니다 [1]. 보호 강도는 프라이버시 예산 엡실론이라는 단일 수치로 정량화합니다. 엡실론이 작을수록 보호는 강해지고 통계의 정확도는 떨어집니다. 익명화나 가명처리가 외부 데이터와 결합해 재식별될 수 있는 것과 달리, 공격자의 배경지식을 가정하지 않은 보장을 제공합니다.

쉽게 말하면?

민감한 질문에 답하기 전에 각자 동전을 던져, 앞면이면 진실을 말하고 뒷면이면 정해진 답을 말한다고 해봅시다. 답변 하나만 보면 그 사람의 진짜 응답인지 알 수 없습니다. 그런데 수천 명을 모으면 동전의 확률을 역산해 전체 비율은 꽤 정확하게 구할 수 있어요. 차분 프라이버시는 이 아이디어를 수학으로 일반화한 것이고, 잡음의 양을 정하는 손잡이가 엡실론입니다.

한 줄로 비유하면?

설문 전에 각자 동전을 던져 가끔 거짓 답을 섞게 하면, 개인의 답은 가려지지만 전체 비율은 되살릴 수 있는 것과 같습니다.

어디에 쓰이나?

케이스 1미국 인구조사국 — 2020년 인구총조사 공표에 차분 프라이버시 기반 시스템 적용

인구조사국은 개별 응답을 재구성하는 공격을 막기 위해 공표 단계에 잡음을 넣는 방식을 택했습니다 [2]. 데이터 관리 이사회는 선거구 재획정 데이터 산출물에 배정할 프라이버시 예산을 확정해 2021년 6월 공개했습니다 [2]. 인구 파일과 주택 파일에 예산을 나눠 배분하는 구조입니다 [2]. 국가 통계기관이 자신이 쓴 엡실론 값을 숫자로 공표한 이른 사례입니다 [2].
도입효과: 선거구 재획정 데이터 총 프라이버시 예산 엡실론 19.61(인구 파일 17.14 + 주택 단위 2.47), 2021년 6월 확정 기준 [2]

케이스 2Apple — iOS와 macOS 사용 통계 수집에 기기 단 로컬 차분 프라이버시 적용

서버로 보내기 전에 사용자 기기 안에서 먼저 잡음을 더하는 방식입니다 [3]. 자주 쓰는 이모지 빈도, 자판 제안, 브라우저에서 문제를 일으키는 도메인 진단 등 용도마다 예산을 따로 잡습니다 [3]. 한 사람이 하루에 보낼 수 있는 기여 건수도 제한합니다 [3]. 설정값은 공식 기술 문서에 공개돼 있어요 [3].
도입효과: 용도별 엡실론 설정값 4 또는 8, 건강 데이터 유형 2, 하루 기여 1에서 2건 제한 [3]

케이스 3Google — 코로나19 지역 이동량 리포트

2020년 방역 정책 참고용으로 지역별 이동량 변화율을 공개했습니다 [4]. 자사 오픈소스 차분 프라이버시 라이브러리로 각 지표에 라플라스 잡음을 더했습니다 [4]. 지리 단위가 세분화될수록 다른 예산을 적용했습니다 [4]. 익명화 절차 문서에 지표별 수치가 명시돼 있습니다 [4].
도입효과: 지표별 엡실론 — 국가와 광역 단위 0.11, 그 아래 단위 0.22, 라플라스 메커니즘 기준(익명화 절차 문서 2020년 4월) [4]

케이스 4한국인터넷진흥원 — 합성데이터 생성·활용 안내서에서 차분 프라이버시를 기술 동향으로 정리

한국인터넷진흥원은 2024년 12월 「데이터의 안전한 활용을 위한 합성데이터 생성·활용 안내서」를 공개했습니다 [5]. 안내서는 합성데이터에 차분 프라이버시를 적용하는 방식이 재식별 위험을 줄이는 메커니즘으로 논의된다고 소개합니다 [5]. 다만 생성 절차의 의무 요건으로 규정하지는 않았습니다 [5]. 안전성 검증 기준으로는 별도의 위험도 지표를 제시합니다 [5].
도입효과: 공개된 엡실론 정량 수치는 없습니다(제도 안내 성격). 확인된 내용은 2024년 12월 공개, 안전성 검증 지표 3종(구별위험도·연결위험도·추론위험도)입니다 [5]

주의할 점은?

오늘 바로 해보기
01. 외부로 나가는 통계 산출물 목록을 만듭니다. 표본 수가 적은 칸이 어디인지 표시합니다.
02. 오픈소스 차분 프라이버시 라이브러리를 설치해 합계와 평균 쿼리에 라플라스 잡음을 넣어봅니다 [4].
03. 같은 쿼리를 엡실론 0.1, 1, 8로 각각 돌려 오차 폭을 표로 비교합니다.
04. Apple 기술 문서의 용도별 엡실론 설정값과 하루 기여 제한을 우리 지표 설계와 대조합니다 [3].
05. 합성데이터 안내서의 구별·연결·추론 위험도 3종을 체크리스트로 옮겨 담당자와 검토합니다 [5].

한계와 진화
가장 어려운 지점은 엡실론을 얼마로 둘지입니다. 국제적으로 합의된 기준선이 없습니다. Apple은 용도별로 2에서 8을 쓰고 [3], 미국 인구조사국은 2020년 선거구 재획정 데이터에 총 19.61을 배정했습니다 [2]. 적용 단위와 범위가 달라 숫자만 나란히 놓고 비교하기 어렵습니다. 소수 집단 통계 왜곡도 논쟁거리입니다. Kenny 등은 2021년 Science Advances 논문에서 센서스 잡음이 투표율과 인종·정당 구성에 따라 편향되게 작용해, 선거구 분석에 크고 예측하기 어려운 오차를 남긴다고 지적했습니다 [6]. 앨라배마주는 같은 해 연방정부를 상대로 적용 중지를 구했으나 법원은 이를 받아들이지 않았습니다 [7].
진화 방향은 세 갈래로 정리됩니다. 첫째는 학습 단계 적용입니다. Abadi 등이 2016년 제안한 DP-SGD는 기울기를 자르고 잡음을 더해 딥러닝 모델 학습 자체에 보장을 붙입니다 [8]. MNIST에서 엡실론 8 조건으로 97% 정확도를 얻었고 비공개 기준선은 98.30%였습니다 [8]. CIFAR-10에서는 같은 엡실론에서 73%로, 비공개 기준선 86%와 차이가 났습니다 [8]. 정확도 손실이 과제의 난이도에 따라 크게 달라진다는 뜻입니다. 둘째는 합성데이터와의 결합이고, 국내 안내서도 이 조합을 재식별 위험 완화 메커니즘으로 소개합니다 [5]. 셋째는 오픈소스 도구화이며, Google은 자사 공개 라이브러리로 실제 대외 리포트를 산출했습니다 [4].

참고 자료

  1. Calibrating Noise to Sensitivity in Private Data Analysis — 학술논문·Springer(Theory of Cryptography Conference)·2006 — https://link.springer.com/chapter/10.1007/11681878_14
  2. Census Bureau Sets Key Parameters to Protect Privacy in 2020 Census Results — 보도자료·미국 인구조사국·2021 — https://www.census.gov/newsroom/press-releases/2021/2020-census-key-parameters.html
  3. Differential Privacy Overview — 기술백서·Apple — https://www.apple.com/privacy/docs/Differential_Privacy_Overview.pdf
  4. Google COVID-19 Community Mobility Reports: Anonymization Process Description — 기술보고서·Google·2020 — https://arxiv.org/abs/2004.04145
  5. 데이터의 안전한 활용을 위한 합성데이터 생성·활용 안내서 — 안내서·한국인터넷진흥원(KISA)·2024 — https://www.kisa.or.kr/2060301/form?postSeq=56&page=1
  6. The use of differential privacy for census data and its impact on redistricting — 학술논문·Science Advances·2021 — https://www.science.org/doi/10.1126/sciadv.abk3283
  7. Court Rejects Alabama Challenge to Census Plans for Redistricting and Privacy — 분석 기고·Brennan Center for Justice·2021 — https://www.brennancenter.org/our-work/analysis-opinion/court-rejects-alabama-challenge-census-plans-redistricting-and-privacy
  8. Deep Learning with Differential Privacy — 학술논문·ACM CCS·2016 — https://arxiv.org/abs/1607.00133

대표 출처

학술논문 (2006) · Dwork 외, Calibrating Noise to Sensitivity in Private Data Analysis
카드뉴스로 공유하기 다른 AI 용어 보기