Local-First

Meta는 2023년 2월 첫 Llama 가중치를 연구용으로 공개했고, 같은 해 7월 Llama 2를 상업 사용까지 허용하는 라이선스로 일반에 공개했습니다 ^[3][4]. Mark Zuckerberg는 2024년 7월 공개 서한에서 "오픈소스 AI가 앞으로 나아갈 길"이라고 선언하며 가중치 공개 정책을 회사 차원의 전략으로 못 박았습니다 ^[8]. 이 가중치 공개를 기점으로 누구나 자신의 노트북·서버에서 직접 거대 언어 모델(LLM)을 띄울 수 있게 됐고, Llama 7B·13B 모델은 일반 소비자용 GPU로도 추론이 가능한 수준에 들어왔습니다 ^[3].

Ollama는 공식 사이트에서 "어떤 컴퓨터에서든 사적이고 빠른 AI"를 모토로 제시하며, ollama run llama3.2 같은 한 줄 명령으로 모델을 내려받아 단말에서 바로 실행하도록 합니다 ^[5]. LM Studio는 macOS·Windows·Linux용 데스크톱 앱을 제공해 GUI에서 Llama·Qwen·Mistral 등을 받아 돌리고, OpenAI 호환 로컬 API 서버까지 띄울 수 있다고 공식 문서에 명시하고 있습니다 ^[6]. 두 도구 모두 모델 데이터가 사용자 디스크에 저장되며, 추론 과정에서 입력·출력이 외부 서버로 전송되지 않는 점을 공식 페이지에서 분명히 합니다 ^[5][6].

국내 AI 인프라 기업 래블업은 2025년 11월 보도자료를 통해 "Backend.AI를 통한 모델 학습·서비스 운영 노하우를 응축한 온디바이스 솔루션"을 CES 2026에서 공개한다고 밝혔습니다 ^[9]. 한 번 모델을 내려받으면 인터넷 없이 문서 분석·이미지 생성·코드 검토가 가능하고, 입력 데이터가 외부로 나가지 않아 금융·의료 도입을 겨냥한 구조입니다 ^[9]. 학계에서도 KAIST·삼성리서치 공동 연구진은 2024년 ACL에서 "온디바이스 sLLM"의 메모리 효율 최적화 논문을 발표했고, 모바일·임베디드에 적합한 소형 언어 모델 압축·추론 기법을 정리했습니다 ^[10]. 2026년 1월 시행된 AI 기본법의 데이터 주권 의무와 맞물려 국내 도입이 빠르게 늘고 있습니다 ^[9].

Apple은 2024년 6월 Apple Intelligence를 발표하며 약 30억 파라미터의 온디바이스 언어 모델을 iPhone·iPad·Mac에서 직접 구동하고, 더 큰 추론이 필요할 때만 Private Cloud Compute(PCC)로 보내는 2단 구조를 공식화했습니다 ^[7]. PCC는 요청 처리 후 사용자 데이터를 즉시 삭제하고 Apple 직원조차 접근할 수 없도록 설계됐다고 공식 보안 블로그가 명시합니다 ^[11]. 클라우드를 완전히 버리지 않으면서도 "기본값을 기기"로 옮긴 사례로, 사내 문서·고객 정보를 다루는 업무용 앱의 표준 구조로 자주 인용됩니다.