AI for Everyone
기본

LoRA

로라

모델 미세조정 분야에서 쓰이는 Low-Rank Adaptation(저차원 적응)의 약자로, 사전학습된 가중치는 그대로 얼리고 각 층에 작은 저차원 행렬만 추가로 학습시키는 파라미터 효율적 미세조정 기법입니다. 전체 가중치를 다시 학습하지 않아 학습 비용과 저장 용량이 크게 줄어듭니다. 학습이 끝난 저차원 행렬은 원래 가중치에 합칠 수 있어 추론 속도도 그대로입니다. 2021년 마이크로소프트 연구진이 제안했고, 지금은 오픈소스 모델을 값싸게 특화시키는 표준 방법으로 쓰입니다.

쉽게 말하면?

로라(LoRA, Low-Rank Adaptation)는 거대 모델을 통째로 다시 학습하지 않고, 작은 '부착 모듈'만 얹어 특정 업무에 맞추는 방법입니다. 원본 가중치는 손대지 않고 얼려 둔 채, 크기가 작은 행렬 두 개만 새로 학습해요. 두꺼운 표준 계약서 본문은 그대로 두고 특약 조항만 끼워 넣는 것과 비슷합니다. 학습할 값이 적어 GPU 한 장으로도 미세조정이 가능하고, 완성된 모듈은 수십 메가바이트로 작아 갈아 끼우기도 쉬워요. 그래서 업무별로 여러 버전을 만들어 두고 필요할 때 바꿔 쓰기 좋습니다.

한 줄로 비유하면?

표준 계약서 본문은 두고 특약만 끼워 넣는 맞춤 견적입니다.

어디에 쓰이나?

케이스 1Microsoft — LoRA 원 논문, GPT-3 175B 미세조정

Microsoft 연구진은 2021년 LoRA를 제안하며 GPT-3 175B에 적용했습니다 [1]. 사전학습 가중치를 얼리고 각 층에 저차원 행렬만 학습시켰습니다 [1]. 학습한 모듈은 원래 가중치에 합칠 수 있어 추론 지연이 늘지 않습니다 [1]. 전체 미세조정이 사실상 불가능한 초거대 모델을 값싸게 특화하는 길을 열었습니다 [1].
도입효과: 학습 대상 파라미터 수 1만분의 1로 감소·GPU 메모리 요구량 3분의 1로 감소 (GPT-3 175B 전체 미세조정 대비) [1]

케이스 2워싱턴대(QLoRA) — 65B 모델을 GPU 한 장으로 미세조정

워싱턴대 연구진은 2023년 4비트 양자화와 LoRA를 결합한 QLoRA를 발표했습니다 [2]. 4비트로 얼린 모델에 역전파해 LoRA 모듈만 학습하는 방식입니다 [2]. 이렇게 만든 Guanaco 모델군을 함께 공개했습니다 [2]. 고가의 다중 GPU 없이도 대형 모델 미세조정이 가능함을 보였습니다 [2].
도입효과: 단일 48GB GPU로 미세조정 가능한 최대 규모 65B, Guanaco가 ChatGPT 성능의 99.3% 도달 (Vicuna 벤치마크 기준) [2]

케이스 3Apple — 온디바이스 파운데이션 모델에 LoRA 어댑터 탑재

Apple은 2024년 약 30억 파라미터 규모의 온디바이스 모델 위에 LoRA 어댑터를 얹는 구조를 공개했습니다 [3]. 하나의 기본 모델에 업무별 어댑터를 그때그때 메모리에 올려 바꿔 끼웁니다 [3]. 어댑터만 교체해 요약·교정 같은 기능을 특화합니다 [3]. 기기 안에서 여러 작업을 한 모델로 처리하는 설계입니다 [3].
도입효과: rank 16 어댑터 1개 용량 수십 메가바이트 수준 (약 30억 파라미터 기본 모델 대비 극소 크기) [3]

케이스 4케이뱅크(한국) — 한국어 10.8B 모델을 A100 한 장으로 QLoRA 학습

케이뱅크 데이터서비스팀은 공식 블로그에서 QLoRA로 한국어 모델을 미세조정한 과정을 공개했습니다 [5]. 기반 모델은 EEVE-Korean-10.8B, 4비트 양자화를 적용했습니다 [5]. NVIDIA A100 40GB 한 장에서 학습을 진행했습니다 [5]. 은행 실무 관점의 한국어 QLoRA 적용 사례로 참고할 만합니다 [5].
도입효과: 학습 대상 파라미터 15,728,640개 / 전체 108억 개 중 0.145%만 학습 (단일 A100 40GB 기준) [5]

주의할 점은?

오늘 바로 해보기
01. Hugging Face peft 라이브러리를 설치하고 소형 오픈소스 모델에 LoRA 어댑터를 붙여 30분짜리 미세조정을 돌려 봅니다.
02. 학습 대상 파라미터 비율(trainable%)을 출력해 전체 대비 얼마나 작은지 확인합니다.
03. 완성된 어댑터 파일 용량(MB)을 확인하고 원본 모델 크기와 비교합니다.
04. 같은 기본 모델에 어댑터 두 개(예: 요약용·분류용)를 만들어 갈아 끼우며 결과 차이를 봅니다.
05. LoRA 논문 초록에서 '1만분의 1 파라미터·GPU 메모리 3분의 1' 수치를 읽고 자사 미세조정 비용과 비교합니다 [1].

한계와 진화
LoRA의 한계는 과제에 따라 전체 미세조정만큼의 성능이 나오지 않을 수 있다는 점입니다. 특히 학습 도메인이 사전학습과 크게 다르면 격차가 벌어집니다 [1]. 저차원 행렬의 계수(rank)를 얼마로 둘지에 결과가 민감하고, 여러 어댑터를 합쳐 쓸 때 간섭이 생기기도 합니다 [4]. 어댑터만 작아질 뿐 기반 모델 자체는 여전히 크다는 점도 함께 고려해야 합니다 [4]. 어댑터를 원본 가중치에 합치면 추론은 빨라지지만, 합친 뒤에는 그 부분만 떼어 교체하기 어려워집니다 [4]. 미세조정 데이터가 적으면 어댑터가 과적합되기 쉬워, 별도 검증 세트로 성능을 확인하는 절차가 필요합니다 [1]. rank를 너무 낮게 잡으면 표현력이 부족하고 너무 높이면 비용 이점이 줄어, 적정값을 실험으로 찾아야 합니다 [1]. 즉 비용은 줄지만 rank·대상 층·데이터 설계를 맞추는 튜닝이 필요합니다 [1].
진화 방향은 두 갈래입니다.

  1. 양자화와 결합해 비용을 더 낮추는 흐름입니다. QLoRA는 4비트 양자화 위에서 LoRA를 학습해 65B 모델을 48GB GPU 한 장으로 미세조정할 수 있게 했습니다 [2].
  2. 완성된 어댑터를 실서비스에서 갈아 끼우는 운영 패턴입니다. Apple은 온디바이스 모델 하나에 업무별 LoRA 어댑터를 동적으로 올려 쓰고, Hugging Face PEFT가 이 생태계를 표준화했습니다 [3][4]. 국내에서도 케이뱅크가 한국어 모델에 QLoRA를 적용한 사례를 공개하는 등, 저비용 특화의 기본 도구로 자리 잡는 흐름입니다 [5]. 어댑터는 수십 메가바이트로 작아 저장·배포가 가볍고 버전별로 나눠 관리하기도 쉽습니다 [3]. 적은 비용으로 업무별 특화 모델을 여러 개 두고 필요할 때 갈아 끼우려는 조직의 표준 도구로 자리 잡는 추세입니다 [3].

참고 자료

  1. LoRA: Low-Rank Adaptation of Large Language Models — arXiv 논문·Microsoft(Hu 외)·2021 — https://arxiv.org/abs/2106.09685
  2. QLoRA: Efficient Finetuning of Quantized LLMs — arXiv 논문·워싱턴대(Dettmers 외)·2023 — https://arxiv.org/abs/2305.14314
  3. Introducing Apple's On-Device and Server Foundation Models — 공식 기술블로그·Apple Machine Learning Research·2024 — https://machinelearning.apple.com/research/introducing-apple-foundation-models
  4. LoRA (개념 가이드) — 공식 문서·Hugging Face PEFT·2026 접속 — https://huggingface.co/docs/peft/main/en/conceptual_guides/lora
  5. 거대 언어 모델 튜닝을 위한 미니멀리스트 접근법 2부: QLoRA로 학습하기 — 공식 기술블로그·케이뱅크 데이터서비스팀·2024 — https://blog.kbanknow.com/82

대표 출처

arXiv 논문 (2021) · Hu 외(마이크로소프트), LoRA
카드뉴스로 공유하기 다른 AI 용어 보기