Attention Mechanism 4장 카드뉴스

어텐션 메커니즘은 입력 데이터의 여러 부분에 서로 다른 가중치를 매겨, 지금 필요한 부분만 골라 보게 만드는 계산 방식입니다 [6]. 문장 전체를 고정 길이 벡터 하나로 압축하던 기존 구조의 병목을 없앤 것이 핵심입니다 [2]. 2014년 기계번역 연구에서 원문 가운데 관련 있는 부분을 모델이 자동으로 찾아내는 방식으로 처음 제안됐고 [2], 2017년 구글 연구진의 트랜스포머 논문이 순환·합성곱 구조를 걷어내고 어텐션만으로 모델을 구성하면서 오늘날 대형 언어모델의 기본 골격이 됐습니다 [1].

교과서 한 권을 통째로 외운 뒤 시험을 보는 방식과, 문제를 먼저 읽고 관련 있는 페이지만 다시 펼쳐 보는 방식의 차이라고 보면 됩니다. 어텐션은 뒤쪽 방식이에요. 모델이 단어 하나를 처리할 때마다 지금 이 단어와 관련이 깊은 다른 단어가 어디 있는지를 점수로 계산하고, 점수가 높은 쪽 정보를 더 많이 가져옵니다 [6]. 그래서 문장이 길어져도 앞부분에서 나온 정보를 놓치지 않습니다 [2].

케이스 1: 구글 — 순환 구조를 걷어내고 어텐션만으로 번역 모델을 세운 첫 사례 2017년 구글 연구진은 순환 신경망과 합성곱을 모두 제거하고 어텐션만 남긴 트랜스포머 구조를 공개했습니다 [1]. 단어를 순서대로 하나씩 처리할 필요가 없어지면서 학습을 병렬로 돌릴 수 있게 됐습니다 [1]. 번역 품질과 학습 비용을 함께 개선했다는 점이 당시 평가의 핵심이었습니다 [1]. 도입효과: WMT