Speculative Decoding 4장 카드뉴스

작고 빠른 '초안(draft) 모델'이 다음 토큰 여러 개를 먼저 제안하면, 크고 정확한 본 모델이 이를 한 번에 검증해 맞은 부분까지 통째로 채택하는 추론 가속 기법입니다. 토큰을 하나씩 순서대로 생성하던 과정을 병렬 검증으로 바꿔 속도를 높입니다. 틀린 토큰이 나온 지점부터 본 모델이 다시 이어 씁니다. 최종 출력은 본 모델이 혼자 생성한 것과 동일하게 유지되는 것이 특징입니다. 2022년 구글 연구진이 정리했습니다.

스페큘러티브 디코딩은 '빠른 초벌 + 꼼꼼한 검수'로 답을 빨리 뽑는 방법입니다. 작고 빠른 모델이 다음에 올 단어 여러 개를 미리 써 두면, 크고 정확한 모델이 한꺼번에 맞는지 확인해요. 맞은 부분은 그대로 채택하고 틀린 곳부터 다시 씁니다. 신입이 초안을 빠르게 작성해 오면 팀장이 한 번에 검토하고 맞는 데까지 승인하는 결재 흐름과 비슷해요. 답의 내용은 큰 모델이 혼자 쓸 때와 똑같고 속도만 빨라지는 게 장점입니다. 다만 초안 모델이 자주 틀리면 검수만 늘어 효과가 줄기도 합니다.

케이스 1: Google — 스페큘러티브 디코딩 원 논문(T5-XXL) Google 연구진은 2022년 스페큘러티브 디코딩을 제안했습니다 [1]. 작은 근사 모델이 초안을 만들고 본 모델이 검증하는 구조로, 모델을 다시 학습할 필요가 없습니다 [1]. T5-XXL에서 표준 구현과 비교해 측정했습니다 [1]. 출력이 원본과 완전히 동일하게 유지된다는 점을 입증했습니다 [1]. 도입효과: 추론