AI for Everyone
기본

Attention Mechanism

어텐션 메커니즘

어텐션 메커니즘은 입력 데이터의 여러 부분에 서로 다른 가중치를 매겨, 지금 필요한 부분만 골라 보게 만드는 계산 방식입니다 [6]. 문장 전체를 고정 길이 벡터 하나로 압축하던 기존 구조의 병목을 없앤 것이 핵심입니다 [2]. 2014년 기계번역 연구에서 원문 가운데 관련 있는 부분을 모델이 자동으로 찾아내는 방식으로 처음 제안됐고 [2], 2017년 구글 연구진의 트랜스포머 논문이 순환·합성곱 구조를 걷어내고 어텐션만으로 모델을 구성하면서 오늘날 대형 언어모델의 기본 골격이 됐습니다 [1].

쉽게 말하면?

교과서 한 권을 통째로 외운 뒤 시험을 보는 방식과, 문제를 먼저 읽고 관련 있는 페이지만 다시 펼쳐 보는 방식의 차이라고 보면 됩니다. 어텐션은 뒤쪽 방식이에요. 모델이 단어 하나를 처리할 때마다 지금 이 단어와 관련이 깊은 다른 단어가 어디 있는지를 점수로 계산하고, 점수가 높은 쪽 정보를 더 많이 가져옵니다 [6]. 그래서 문장이 길어져도 앞부분에서 나온 정보를 놓치지 않습니다 [2].

한 줄로 비유하면?

회의록을 처음부터 다시 읽는 대신, 지금 안건과 관련된 발언에만 형광펜을 칠해 두고 그 부분을 더 무겁게 반영하는 방식입니다.

어디에 쓰이나?

케이스 1구글 — 순환 구조를 걷어내고 어텐션만으로 번역 모델을 세운 첫 사례

2017년 구글 연구진은 순환 신경망과 합성곱을 모두 제거하고 어텐션만 남긴 트랜스포머 구조를 공개했습니다 [1]. 단어를 순서대로 하나씩 처리할 필요가 없어지면서 학습을 병렬로 돌릴 수 있게 됐습니다 [1]. 번역 품질과 학습 비용을 함께 개선했다는 점이 당시 평가의 핵심이었습니다 [1].
도입효과: WMT 2014 영어-독일어 BLEU 28.4점(기존 최고 기록 대비 2점 이상 상승), 영어-프랑스어 BLEU 41.8점을 GPU 8장·3.5일 학습으로 달성 [1]

케이스 2구글 — 어텐션 기반 사전학습 모델로 언어 이해 과제를 한꺼번에 끌어올린 사례

2018년 공개된 BERT는 트랜스포머 인코더를 쌓아 문맥을 앞뒤 양방향으로 함께 읽습니다 [3]. 대규모 사전학습을 마친 뒤 출력층 하나만 덧붙여 미세조정하는 구조여서, 과제마다 모델을 새로 설계할 필요가 줄었습니다 [3]. 질의응답, 자연어 추론 등 11개 과제에서 같은 방식이 통했습니다 [3].
도입효과: GLUE 점수 80.5%(7.7%p 상승), MultiNLI 정확도 86.7%(4.6%p 상승), SQuAD v1.1 테스트 F1 93.2점 [3]

케이스 3스탠퍼드대 연구진 — 어텐션의 메모리 병목을 다시 설계한 사례

어텐션은 시퀀스가 길어질수록 시간과 메모리가 제곱으로 늘어나는 부담을 안고 있습니다 [4]. 2022년 공개된 FlashAttention은 계산 결과를 바꾸지 않은 채 GPU 메모리 계층 사이의 데이터 이동만 줄이는 타일링 방식을 씁니다 [4]. 근사치로 대체하지 않고 정확한 어텐션을 유지하면서 속도를 올렸다는 점이 이 접근의 특징입니다 [4].
도입효과: BERT-large(길이 512) 학습 시간 15% 단축(MLPerf 1.1 기록 대비), GPT-2(길이 1K) 3배 속도 향상, Long Range Arena(길이 1K~4K) 2.4배 속도 향상 [4]

케이스 4LG AI연구원 — 어텐션 종류를 섞어 긴 문맥 비용을 낮춘 국내 사례

2025년 7월 공개된 EXAONE 4.0은 모든 층에 같은 어텐션을 쓰지 않습니다 [5]. 창 크기 4K짜리 지역 어텐션과 문맥 전체를 보는 전역 어텐션을 3대 1 비율로 배치했습니다 [5]. 짧은 문맥 성능을 해치지 않으면서 학습과 추론의 계산 부담을 줄이려는 선택이라고 기술보고서는 설명합니다 [5].
도입효과: 32B 모델 기준 문맥 길이 131,072토큰 지원, 추론 모드 MMLU-Redux 92.3%·GPQA-Diamond 75.4% [5]

주의할 점은?

오늘 바로 해보기
01. 어텐션이 처음 제안된 2014년 번역 논문 [2]과 2017년 트랜스포머 논문 [1]의 초록만 각각 5분씩 읽습니다.
02. 쿼리·키·밸류 세 벡터가 각각 무슨 역할을 하는지 자기 말로 한 문장씩 정리합니다 [6].
03. 팀이 쓰는 모델의 공개 문서에서 컨텍스트 길이와 어텐션 종류(전역·지역·그룹 쿼리)를 찾아 메모합니다 [5][7].
04. 같은 질문을 짧은 문서와 긴 문서에 각각 붙여 넣고 응답 지연과 토큰 사용량을 기록합니다. 입력이 길어질 때 비용이 어떤 기울기로 늘어나는지 확인합니다 [4].
05. 사내 문서 과제 하나를 골라 전체 문서를 통째로 넣는 방식과 관련 구간만 넣는 방식을 한 장으로 비교합니다.

한계와 진화
가장 뚜렷한 한계는 비용입니다. 자기 어텐션은 시퀀스 길이에 대해 시간과 메모리가 제곱으로 증가하기 때문에, 입력이 길어질수록 부담이 가파르게 커집니다 [4]. 컨텍스트 길이를 늘리는 결정은 곧 하드웨어 예산 문제로 이어집니다. 모든 층이 문맥 전체를 보게 두면 긴 문맥 처리가 비싸지고, 지역 어텐션 비중을 늘리면 짧은 문맥 성능에 영향이 갈 수 있어 설계 단계에서 절충이 필요합니다 [5].
진화 방향은 크게 두 갈래입니다. 하나는 계산 결과를 그대로 두고 구현만 바꾸는 쪽으로, GPU 메모리 이동을 줄여 정확한 어텐션을 더 빠르게 돌리는 FlashAttention이 대표적입니다 [4]. 다른 하나는 어텐션 구조 자체를 섞는 쪽입니다. EXAONE 4.0처럼 지역 어텐션과 전역 어텐션을 비율로 배치하거나 [5], HyperCLOVA X처럼 그룹 쿼리 어텐션과 회전 위치 임베딩으로 학습·추론 효율을 확보하는 방식이 국내 모델에서도 확인됩니다 [7]. 2017년 이후의 흐름은 어텐션을 다른 것으로 대체하기보다 어텐션을 더 싸게 만드는 쪽에 가깝습니다 [1].

참고 자료

  1. Attention Is All You Need — arXiv 논문·Google Brain/Google Research·2017 — https://arxiv.org/abs/1706.03762
  2. Neural Machine Translation by Jointly Learning to Align and Translate — arXiv 논문·Jacobs University Bremen/Université de Montréal·2014 — https://arxiv.org/abs/1409.0473
  3. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding — arXiv 논문·Google AI Language·2018 — https://arxiv.org/abs/1810.04805
  4. FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness — arXiv 논문·Stanford University 외·2022 — https://arxiv.org/abs/2205.14135
  5. EXAONE 4.0: Unified Large Language Models Integrating Non-reasoning and Reasoning Modes — arXiv 기술보고서·LG AI Research·2025 — https://arxiv.org/abs/2507.11407
  6. What is an attention mechanism? — 기술 해설 문서·IBM·2024 — https://www.ibm.com/think/topics/attention-mechanism
  7. HyperCLOVA X Technical Report — arXiv 기술보고서·NAVER Cloud·2024 — https://arxiv.org/abs/2404.01954

대표 출처

arXiv 논문 (2017) · Google, Attention Is All You Need
카드뉴스로 공유하기 다른 AI 용어 보기