SLM 4장 카드뉴스

AI 모델 분야에서 쓰이는 Small Language Model(소형 언어 모델)의 약자로, 적은 메모리·전력으로도 로컬 단말이나 서버에서 빠르게 동작하도록 만든 소규모 인공지능 모델입니다.

SLM은 Small Language Model, 우리말로는 "소형 언어 모델"이에요. 똑같이 글을 이해하고 답을 만들지만, 거대 언어 모델(LLM)이 데이터센터 GPU 수천 장이 필요한 반면 SLM은 노트북이나 휴대폰 한 대에서도 돌아갈 만큼 압축한 모델입니다. 대학 시험을 앞두고 백과사전 50권을 다 들고 다니는 친구(LLM) 대신, 시험 범위만 정리한 작은 노트(SLM)를 들고 다니는 모습이라 보면 돼요. 클라우드 비용·개인정보 유출 걱정 없이 단말 안에서 바로 쓸 수 있다는 점에서, 갤럭시 S24나 아이폰에 들어간 AI 비서가 모두 이 SLM 위에서 돌아갑니다.

**케이스 1: Microsoft Phi-3 — 휴대폰에서 돌아가는 어시스턴트** 2024년 4월 Microsoft가 arXiv에 공개한 Phi-3 기술 보고서는 phi-3-mini를 3.8B 파라미터·3.3조 토큰 학습으로 정의했습니다 [1]. 이 모델을 4비트로 양자화하면 약 1.8GB 메모리만 차지해 iPhone 14의 A16 Bionic 칩에서 초당 12 토큰 이상을 생성합니다 [1]