MoE 4장 카드뉴스

모델 구조 분야에서 쓰이는 Mixture of Experts(전문가 혼합)의 약자로, 여러 전문가 하위망 중 입력마다 일부만 골라 활성화하는 신경망 구조입니다. '라우터'라 불리는 게이팅 신경망이 토큰마다 소수의 전문가만 선택합니다. 전체 파라미터 수는 크게 늘리되 실제 계산에는 일부만 쓰기 때문에, 같은 연산량으로 더 큰 모델급 성능을 노립니다. Mixtral, DeepSeek-V3 같은 최신 대형 모델이 이 구조를 채택했습니다.

믹스처 오브 엑스퍼츠(MoE, Mixture of Experts)는 여러 전문가 중 문제마다 딱 맞는 몇 명만 불러 쓰는 구조입니다. 모델 안에 작은 전문가 신경망을 여러 개 두고, '라우터'가 입력 토큰마다 그중 소수만 골라 답을 맡겨요. 하나의 큰 회의에 전원을 부르는 대신, 안건별로 담당 실무자 두 명만 호출해 처리하는 방식과 비슷합니다. 그래서 전체 규모는 크지만 매번 도는 계산은 일부라, 큰 모델의 성능을 더 싼 연산으로 얻습니다. 다만 라우터가 일감을 고르게 나눠 주도록 관리하는 게 관건이에요.

케이스 1: Google Brain — 현대 MoE의 출발점(2017) Google Brain 연구진은 2017년 희소 게이팅 방식의 MoE 층을 제안했습니다 [1]. 신경망 사이에 수천 개의 전문가를 두고, 게이팅 망이 입력마다 소수만 활성화했습니다 [1]. 언어 모델링과 기계 번역에 적용했습니다 [1]. 계산량은 조금만 늘리고 모델 용량을 크게 키우는 길을 보였습니다 [1]. 도입효과: