AI for Everyone
기본

SLM

AI 모델 분야에서 쓰이는 Small Language Model(소형 언어 모델)의 약자로, 적은 메모리·전력으로도 로컬 단말이나 서버에서 빠르게 동작하도록 만든 소규모 인공지능 모델입니다.

쉬운 풀이

SLM은 Small Language Model, 우리말로는 "소형 언어 모델"이에요. 똑같이 글을 이해하고 답을 만들지만, 거대 언어 모델(LLM)이 데이터센터 GPU 수천 장이 필요한 반면 SLM은 노트북이나 휴대폰 한 대에서도 돌아갈 만큼 압축한 모델입니다. 대학 시험을 앞두고 백과사전 50권을 다 들고 다니는 친구(LLM) 대신, 시험 범위만 정리한 작은 노트(SLM)를 들고 다니는 모습이라 보면 돼요. 클라우드 비용·개인정보 유출 걱정 없이 단말 안에서 바로 쓸 수 있다는 점에서, 갤럭시 S24나 아이폰에 들어간 AI 비서가 모두 이 SLM 위에서 돌아갑니다.

한 줄 비유
사장님 노트북 안에 상주시키는 사내 업무 전담 신입 한 명입니다.
활용 예시
Case 1

Microsoft Phi-3 — 휴대폰에서 돌아가는 어시스턴트

2024년 4월 Microsoft가 arXiv에 공개한 Phi-3 기술 보고서는 phi-3-mini를 3.8B 파라미터·3.3조 토큰 학습으로 정의했습니다 [1]. 이 모델을 4비트로 양자화하면 약 1.8GB 메모리만 차지해 iPhone 14의 A16 Bionic 칩에서 초당 12 토큰 이상을 생성합니다 [1]. 후속 phi-3.5-mini는 MMLU(다과목 언어 이해) 정답률 69.0%·MT-bench 8.38을 기록해, 같은 시점 Llama 3 8B(66.6%)를 앞섰습니다 [1][4]. 모바일·노트북 단말에서 클라우드 호출 없이 어시스턴트를 돌릴 때의 기준 모델로 자리잡았습니다.

Case 2

삼성 갤럭시 S24 — 단말 안에서 도는 Gemini Nano

Google과 Samsung은 2024년 1월 갤럭시 S24 시리즈에 Gemini Nano를 기본 탑재한다고 공식 발표했습니다 [5]. Gemini Nano는 Android 14 운영체제와 함께 배포되는 온디바이스 LLM으로, 통화 녹음 요약·메시지 자동 작성("Magic Compose") 같은 기능을 데이터가 단말 밖으로 나가지 않은 상태에서 처리합니다 [5]. Samsung 공식 자료는 사용자 데이터가 스마트폰을 떠나지 않는 점을 보안상의 핵심 차별점으로 명시했습니다 [5]. 통신비밀·개인정보 처리에 민감한 통화 녹음·SMS 영역에서 SLM이 LLM API를 대체한 첫 대규모 사례로 인용됩니다.

Case 3

경찰청 + 스켈터랩스 — 한국 공공기관의 한국어 SLM 도입

스켈터랩스는 2024년 경찰청 "AI 음성인식 활용 조서 작성 시스템"에 자체 SLM인 BELLA LLM의 요약 기능을 납품했습니다 [6]. 클라우드 LLM API로는 처리할 수 없는 수사 조서·진술 녹취 같은 민감 데이터를 사내 인프라 안에서 요약하기 위한 구조이며, 제한된 자원과 높은 보안 요구를 동시에 충족하도록 설계됐다고 보고됐습니다 [6]. 외부 API 사용이 원천 금지된 공공·금융 영역에서 SLM이 사실상 유일한 도입 경로임을 보여주는 사례입니다.

Case 4

Apple Intelligence — iOS·macOS 기본 탑재 3B 온디바이스 모델

Apple은 2024년 6월 WWDC에서 Apple Intelligence의 핵심 모델로 약 3B 파라미터 온디바이스 언어 모델(AFM-on-device)을 공개했습니다 [7]. 이 모델은 KV 캐시 공유와 2비트 양자화 학습으로 Apple Silicon에 맞춰 최적화됐고, 동일 평가에서 phi-3-mini·Mistral 7B·Gemma 7B·Llama 3 8B를 모두 앞섰다고 보고됐습니다 [7]. 요약·문구 다듬기·짧은 대화·창작 보조 같은 텍스트 과제 전반에 쓰이며, 일반 상식 챗봇을 대체하지는 않는다고 명시했습니다 [7]. iPhone·Mac 단말 안에서 AI 비서를 표준 기능으로 띄운 첫 OS 통합 사례입니다.

참고사항
  1. Phi-3 기술 보고서(arXiv:2404.14219) 표 1·표 2를 출력해 두고, 사내 업무별로 MMLU(다과목 언어 이해)·MT-bench가 어느 구간이면 충분한지 팀과 합의합니다 [1].
  2. Microsoft, Apple, Google이 공개한 3B급 모델(phi-3-mini, AFM-on-device, Gemini Nano) 카드를 한 표에 정리해, 라이선스·메모리·언어 지원을 비교합니다 [1][5][7].
  3. 한국어 업무가 핵심이면 KT Mi:dm 2.0 Mini·Upstage Solar Mini 공식 페이지에서 라이선스·컨텍스트 길이·평가 점수를 확인합니다 [8].
  4. "민감 데이터는 단말 안 SLM에서, 일반 질의는 클라우드 LLM으로" 같은 2단 라우팅 정책을 정하고, 어떤 질의를 SLM이 처리할지 한 줄 기준을 만듭니다 [3].
  5. MIT Technology Review 2025년 1월 SLM 기사를 사내 의사결정 자료에 첨부해, 왜 지금 SLM을 검토하는지 1쪽으로 정리합니다 [3].

SLM의 한계는 명확합니다. 파라미터를 줄인 만큼 다단계 추론·긴 문맥 처리·드문 도메인 지식에서 프런티어 LLM과 격차가 남고, Phi-3 보고서도 phi-3-mini가 사실 지식(factual knowledge) 측면에서 명확한 약점이 있다고 인정했습니다 [1]. MIT Technology Review는 "특정 작업에 맞춰 학습된 SLM이 LLM과 동등하거나 더 나을 수 있다"고 평가하면서도, "같은 요청을 반복해서 받는" 한정된 용도가 전제라고 명시했습니다 [3]. 보는 시각에 따라 "범용 챗봇은 여전히 LLM 영역, 정형 업무는 SLM 영역"으로 갈리는 단계입니다.

진화 방향은 세 갈래로 굳어지는 중입니다.

  1. 합성 데이터와 지식 증류(knowledge distillation, 큰 모델의 지식을 작은 모델로 옮기는 학습 기법)로 성능을 끌어올리는 흐름입니다. Microsoft Phi-4 기술 보고서는 14B 모델이 합성 데이터를 사전·중간·후처리 전반에서 활용해 STEM QA에서 GPT-4 교사 모델을 앞섰다고 보고했습니다 [9].
  2. 단말 최적화 인프라입니다. Apple AFM-on-device 3B, Meta Llama 3.2 1B·3B 같은 라인업이 칩 제조사와 묶여 Day-1 출시되는 구도가 자리잡았습니다 [7][10].
  3. 한국어·일본어 등 비영어권 sovereign(주권형) SLM의 정규화입니다. KT Mi:dm 2.0이 오픈소스로 공개되면서, 외부 API를 못 쓰는 공공·금융이 SLM 기반 자체 운영을 표준 선택지로 두기 시작했습니다 [8].
이 용어와의 관계
  • 유사 개념
    Throughput같은 기본 갈래에서 자주 함께 등장하는 개념입니다.
  • 유사 개념
    Latency같은 기본 갈래에서 자주 함께 등장하는 개념입니다.
  • 유사 개념
    SWE-bench같은 기본 갈래에서 자주 함께 등장하는 개념입니다.
관련 태그
#소형언어모델#온디바이스#엣지AI#한국어모델#비용효율
참고 자료
  1. Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone — 학술 논문 · Microsoft, arXiv · 2024-04
  2. OpenELM: An Efficient Language Model Family with Open Training and Inference Framework — 학술 논문 · Apple, arXiv · 2024-04
  3. Llama 3.2: Revolutionizing edge AI and vision with open, customizable models — 회사 공식 발표 · Meta AI · 2024-09
  4. Small language models: 10 Breakthrough Technologies 2025 — 권위 매체 · MIT Technology Review · 2025-01-03
  5. Introducing Solar Mini: Compact yet Powerful — 회사 공식 발표 · Upstage · 2024-01
  6. SOLAR 10.7B: Scaling Large Language Models with Simple yet Effective Depth Up-Scaling — 학술 논문 · Upstage, arXiv · 2023-12
  7. KT to release homegrown AI model Mi:dm 2.0 as open source — 권위 매체 · The Korea Times · 2025-07-03
  8. Phi-4 Technical Report — 학술 논문 · Microsoft, arXiv · 2024-12
  9. Gemma 2: Improving Open Language Models at a Practical Size — 학술 논문 · Google DeepMind, arXiv · 2024-08
  10. Upstage Launches Small Language Model on AWS to Help Businesses Around the World Build and Scale Generative AI Applications for the Korean Market — 회사 공식 보도자료 · Amazon AWS · 2024-03
대표 출처arXiv 논문 (Microsoft Phi-3 Technical Report, 2024-04) / IBM Think SLM 정의 / MIT Technology Review 10 Breakthrough 2025 / Google·Samsung 공식 발표 / Apple Machine Learning Research
다른 AI 용어 보기