3건
On-Device AI
온디바이스 AI
AI 활용 분야에서 쓰이는 용어로, 스마트폰·태블릿·노트북 같은 사용자 단말 안에서 모델이 직접 실행되도록 만든 AI 운영 방식을 가리키며, 데이터를 외부로 보내지 않고 응답한다는 점이 핵심입니다.
AI 트렌드
NPU
엔피유
AI 반도체 분야에서 쓰이는 Neural Processing Unit(신경망 처리 장치)의 약자로, 신경망 연산을 저전력으로 빠르게 처리하도록 특화한 프로세서입니다. 범용 계산용 CPU, 병렬 그래픽 연산용 GPU와 달리 AI 추론 가속만을 노리고 설계됩니다. 성능은 초당 조 단위 연산 횟수인 TOPS로 표기합니다. 스마트폰·노트북의 온디바이스 AI부터 데이터센터용 AI 가속기까지 쓰임이 넓어지고 있습니다.
AI 트렌드
Quantization
퀀타이제이션
AI 모델의 가중치와 활성값을 32비트·16비트 부동소수점에서 8비트·4비트 정수 같은 낮은 정밀도로 바꿔 크기와 연산량을 줄이는 모델 경량화 기법입니다. 정밀도를 낮추면 메모리 사용량과 응답 지연이 함께 줄어, 같은 GPU에서 더 큰 모델을 올리거나 휴대폰에서 온디바이스로 구동할 수 있습니다. 학습을 마친 모델에 적용하는 사후 양자화(PTQ)와 학습 과정에 반영하는 양자화 인식 학습(QAT)으로 나뉩니다. 정확도 손실을 얼마나 억제하느냐가 관건입니다.
기본