LoRA 4장 카드뉴스

모델 미세조정 분야에서 쓰이는 Low-Rank Adaptation(저차원 적응)의 약자로, 사전학습된 가중치는 그대로 얼리고 각 층에 작은 저차원 행렬만 추가로 학습시키는 파라미터 효율적 미세조정 기법입니다. 전체 가중치를 다시 학습하지 않아 학습 비용과 저장 용량이 크게 줄어듭니다. 학습이 끝난 저차원 행렬은 원래 가중치에 합칠 수 있어 추론 속도도 그대로입니다. 2021년 마이크로소프트 연구진이 제안했고, 지금은 오픈소스 모델을 값싸게 특화시키는 표준 방법으로 쓰입니다.

로라(LoRA, Low-Rank Adaptation)는 거대 모델을 통째로 다시 학습하지 않고, 작은 '부착 모듈'만 얹어 특정 업무에 맞추는 방법입니다. 원본 가중치는 손대지 않고 얼려 둔 채, 크기가 작은 행렬 두 개만 새로 학습해요. 두꺼운 표준 계약서 본문은 그대로 두고 특약 조항만 끼워 넣는 것과 비슷합니다. 학습할 값이 적어 GPU 한 장으로도 미세조정이 가능하고, 완성된 모듈은 수십 메가바이트로 작아 갈아 끼우기도 쉬워요. 그래서 업무별로 여러 버전을 만들어 두고 필요할 때 바꿔 쓰기 좋습니다.

케이스 1: Microsoft — LoRA 원 논문, GPT-3 175B 미세조정 Microsoft 연구진은 2021년 LoRA를 제안하며 GPT-3 175B에 적용했습니다 [1]. 사전학습 가중치를 얼리고 각 층에 저차원 행렬만 학습시켰습니다 [1]. 학습한 모듈은 원래 가중치에 합칠 수 있어 추론 지연이 늘지 않습니다 [1]. 전체 미세조정이 사실상 불가능한 초거대 모델을 값싸게 특화하는