LoRA
로라
모델 미세조정 분야에서 쓰이는 Low-Rank Adaptation(저차원 적응)의 약자로, 사전학습된 가중치는 그대로 얼리고 각 층에 작은 저차원 행렬만 추가로 학습시키는 파라미터 효율적 미세조정 기법입니다. 전체 가중치를 다시 학습하지 않아 학습 비용과 저장 용량이 크게 줄어듭니다. 학습이 끝난 저차원 행렬은 원래 가중치에 합칠 수 있어 추론 속도도 그대로입니다. 2021년 마이크로소프트 연구진이 제안했고, 지금은 오픈소스 모델을 값싸게 특화시키는 표준 방법으로 쓰입니다.
