On-Device AI 4장 카드뉴스

AI 활용 분야에서 쓰이는 용어로, 스마트폰·태블릿·노트북 같은 사용자 단말 안에서 모델이 직접 실행되도록 만든 AI 운영 방식을 가리키며, 데이터를 외부로 보내지 않고 응답한다는 점이 핵심입니다.

On-Device AI는 멀리 있는 데이터센터에 매번 묻지 않고, 손에 든 스마트폰이나 노트북 안에서 AI 모델을 직접 돌려 답을 만드는 방식이에요. 도서관에서 모르는 단어가 나올 때마다 본관 행정실까지 뛰어가지 않고 책상 위 노트북 사전 앱으로 바로 찾아보는 것과 비슷해요. 응답이 빠르고, 통신이 끊긴 비행기·지하철에서도 작동하며, 사진·통화 같은 민감한 데이터가 기기 밖으로 나가지 않는다는 점이 가장 큰 장점입니다. iPhone의 Apple Intelligence, Galaxy의 통화 통역, Pixel의 Gemini Nano가 같은 방식으로 동작하고, Copilot+ PC에서도 NPU가 같은 역할을 맡습니다.

**케이스 1: Apple Intelligence — 약 30억 파라미터 단말 내 모델** 2024년 6월 발표된 Apple Intelligence는 Apple Silicon 위에서 약 30억 파라미터의 온디바이스 모델을 돌리고, 더 큰 작업만 Private Cloud Compute로 넘기는 이중 구조입니다 [1][6]. Apple은 이 모델에 KV 캐시 공유와 2비트 양자화를 적용해 메모리