기본

어텐션 메커니즘은 입력 데이터의 여러 부분에 서로 다른 가중치를 매겨, 지금 필요한 부분만 골라 보게 만드는 계산 방식입니다 [6]. 문장 전체를 고정 길이 벡터 하나로 압축하던 기존 구조의 병목을 없앤 것이 핵심입니다 [2]. 2014년 기계번역 연구에서 원문 가운데 관련 있는 부분을 모델이 자동으로 찾아내는 방식으로 처음 제안됐고 [2], 2017년 구글 연구진의 트랜스포머 논문이 순환·합성곱 구조를 걷어내고 어텐션만으로 모델을 구성하면서 오늘날 대형 언어모델의 기본 골격이 됐습니다 [1].

Overfitting(과적합)은 모델이 학습 데이터에는 잘 맞지만 처음 보는 새 데이터에서는 성능이 떨어지는 현상입니다. 데이터에 담긴 규칙 대신 잡음과 우연한 패턴까지 외운 결과입니다. 반대편에는 규칙 자체를 덜 배운 과소적합(underfitting)이 있습니다. 탐지는 학습에 쓰지 않은 검증 세트로 합니다. 학습 오차는 계속 내려가는데 검증 오차가 어느 시점부터 올라가는 학습·검증 곡선이 전형적인 신호입니다. 완화 기법으로는 정규화, 드롭아웃, 조기종료, 데이터 증강, 학습 데이터 확대가 쓰입니다.

AI 학습 분야에서 쓰이는 Direct Preference Optimization(직접 선호 최적화)의 약자로, 사람이 고른 더 나은 답과 덜 나은 답의 쌍을 모델에 직접 학습시켜 사람 선호에 맞추는 사후학습 기법입니다. 기존 RLHF는 선호 데이터로 보상 모델을 따로 만든 뒤 강화학습을 돌려야 했는데, DPO는 그 중간 단계를 없애고 한 번의 학습으로 처리합니다. 2023년 스탠퍼드대 연구진이 제안한 뒤 구현이 간단하고 학습이 안정적이라는 이유로 널리 쓰이며, SFT 다음 단계의 표준 선택지 중 하나로 자리 잡았습니다.

인공지능 학습 분야에서 쓰이는 Supervised Fine-Tuning(지도 미세조정)의 약자로, 사전학습을 마친 언어 모델에 사람이 만든 모범 질문·답변 쌍을 추가 학습시켜 지시를 따르게 만드는 사후학습 단계입니다. 원시 텍스트만 학습한 베이스 모델은 문장을 이어 쓸 뿐 지시 수행이 서툽니다. 그래서 SFT로 응답 형식과 태도를 먼저 가르친 뒤 RLHF나 DPO 같은 선호 최적화를 이어 적용하는 것이 표준 절차입니다. 오늘날 챗봇형 AI 대부분이 이 단계를 거쳐 만들어집니다.

대규모 데이터로 사전학습한 뒤 미세조정 등으로 다양한 하위 작업에 적응시켜 쓰는 범용 AI 모델입니다. 2021년 8월 스탠퍼드대 CRFM 연구진이 보고서 'On the Opportunities and Risks of Foundation Models'에서 개념을 정립했고, BERT·GPT-3·CLIP을 대표 사례로 들었습니다. 하나의 모델이 챗봇·번역·코딩 같은 여러 응용의 공통 기반이 된다는 뜻에서 '기반 모델'로 번역됩니다. EU AI법은 이 계열을 범용 AI(GPAI) 모델로 규정하고, 학습 연산량 10^25 FLOP을 넘으면 시스템적 위험 모델로 추정해 추가 의무를 부과합니다.

인공지능(AI)을 이해하고, 결과물을 비판적으로 평가하며, 기회와 위험을 알고 활용하는 데 필요한 지식·기술·태도를 뜻합니다. 2024년 제정된 EU AI Act가 제3조에서 이 개념을 법적으로 정의했고, 제4조는 AI를 쓰는 조직에 임직원의 AI 리터러시 확보 조치를 의무화했습니다(2025년 2월 적용 개시). 한국도 2026년 1월 AI기본법 시행으로 AI 인력 양성과 윤리 교육 시책의 법적 근거를 마련해, 개인의 소양을 넘어 조직의 준수 사항으로 확장되고 있습니다.

머신러닝 분야에서 쓰이는 용어로, AI가 정답을 통째로 배우는 대신 직접 행동해 보고 보상(점수)을 받으며 시행착오로 최적의 전략을 스스로 익히는 학습 방법입니다. 지도학습이 정답지 달린 문제집이라면, 강화학습은 점수판만 보고 게임을 반복해 실력을 올리는 방식입니다. 2016년 알파고로 대중에게 알려졌고, ChatGPT를 사람 선호에 맞게 다듬은 RLHF, 2025년 딥시크 R1의 추론 능력 학습까지 현대 AI 성능 도약의 핵심 기법으로 쓰입니다.

데이터·DB 분야에서 쓰이는 용어로, 생성형 AI의 답변을 검증 가능한 외부 근거에 묶어 사실과 어긋나지 않게 만드는 기법입니다. Google 공식 문서는 모델에 특정 데이터 출처를 연결하면 답이 그 데이터에 매이면서 내용을 지어낼 가능성이 줄어든다고 설명합니다. 그라운딩은 상위 개념이고, 외부 지식베이스에서 근거 문서를 찾아 붙이는 검색 증강 생성(RAG)은 그라운딩을 구현하는 대표 기법입니다. 답에 출처 링크를 달아 나중에 근거를 되짚을 수 있게 하는 감사가능성도 함께 제공합니다.

큰 '교사(teacher)' 모델이 만든 출력 확률 분포를 작은 '학생(student)' 모델이 모방하도록 학습시켜, 성능은 최대한 유지하면서 크기를 줄이는 모델 경량화 기법입니다. 정답 라벨만 쓰는 대신, 교사 모델이 각 선택지에 매긴 확률(soft label)까지 신호로 넘겨주는 것이 핵심입니다. 그래서 학생 모델이 혼자 학습할 때보다 더 높은 성능에 도달하기도 합니다. 2015년 제프리 힌턴 연구진이 정리한 개념으로, 오늘날 소형 언어모델을 만드는 표준 방법의 하나입니다.

모델 미세조정 분야에서 쓰이는 Low-Rank Adaptation(저차원 적응)의 약자로, 사전학습된 가중치는 그대로 얼리고 각 층에 작은 저차원 행렬만 추가로 학습시키는 파라미터 효율적 미세조정 기법입니다. 전체 가중치를 다시 학습하지 않아 학습 비용과 저장 용량이 크게 줄어듭니다. 학습이 끝난 저차원 행렬은 원래 가중치에 합칠 수 있어 추론 속도도 그대로입니다. 2021년 마이크로소프트 연구진이 제안했고, 지금은 오픈소스 모델을 값싸게 특화시키는 표준 방법으로 쓰입니다.

작고 빠른 '초안(draft) 모델'이 다음 토큰 여러 개를 먼저 제안하면, 크고 정확한 본 모델이 이를 한 번에 검증해 맞은 부분까지 통째로 채택하는 추론 가속 기법입니다. 토큰을 하나씩 순서대로 생성하던 과정을 병렬 검증으로 바꿔 속도를 높입니다. 틀린 토큰이 나온 지점부터 본 모델이 다시 이어 씁니다. 최종 출력은 본 모델이 혼자 생성한 것과 동일하게 유지되는 것이 특징입니다. 2022년 구글 연구진이 정리했습니다.

AI 모델의 가중치와 활성값을 32비트·16비트 부동소수점에서 8비트·4비트 정수 같은 낮은 정밀도로 바꿔 크기와 연산량을 줄이는 모델 경량화 기법입니다. 정밀도를 낮추면 메모리 사용량과 응답 지연이 함께 줄어, 같은 GPU에서 더 큰 모델을 올리거나 휴대폰에서 온디바이스로 구동할 수 있습니다. 학습을 마친 모델에 적용하는 사후 양자화(PTQ)와 학습 과정에 반영하는 양자화 인식 학습(QAT)으로 나뉩니다. 정확도 손실을 얼마나 억제하느냐가 관건입니다.

AI 모델 운영 분야에서 쓰이는 용어로, LLM 서비스가 단위 시간당 처리할 수 있는 토큰 양 또는 동시 요청 수를 가리키며, 보통 초당 토큰(TPS) 단위로 측정하는 성능 지표입니다.

AI 모델 운영 분야에서 쓰이는 용어로, 사용자가 LLM에 질문을 보낸 시점부터 첫 응답 글자가 화면에 뜨기까지 걸리는 시간(보통 ms 단위)을 가리키는 성능 지표입니다.

AI 모델 평가 분야에서 Princeton NLP팀이 2023년에 공개한 코딩 능력 벤치마크로, 실제 GitHub 이슈와 PR을 모아 LLM이 진짜 오픈소스 버그를 해결할 수 있는지 평가하는 표준 평가입니다.

AI 모델 평가 분야에서 쓰이는 용어로, 서로 다른 인공지능 모델의 성능을 같은 잣대로 비교하기 위해 표준화된 시험 문제집을 모아 정답률·점수로 줄을 세우는 평가 방식입니다.

AI 모델 분야에서 쓰이는 용어로, 학습된 가중치를 공개하지 않고 회사가 API·자체 호스팅으로만 제공하는 LLM 운영 방식을 가리키며, GPT-5·Claude·Gemini 등이 대표적입니다.

AI 모델 분야에서 쓰이는 용어로, 학습된 가중치 파일을 누구나 다운로드해 직접 실행·파인튜닝할 수 있도록 공개한 LLM 운영 방식을 가리키며, Llama·Mistral·Qwen 등이 대표적입니다.

AI 모델 분야에서 쓰이는 용어로, 학습 단계에서 모델이 데이터를 보고 직접 조정해 저장하는 내부 숫자값으로, 그 갯수가 흔히 "B(빌리언)" 단위로 표시되어 모델 크기를 가늠하는 기준이 됩니다.

AI 모델 분야에서 쓰이는 용어로, 인공지능 모델이 데이터를 입력받아 예측 오차를 줄이는 방향으로 내부 가중치를 반복해서 조정하는 학습 과정 전반을 가리키는 일반 표현입니다.

AI 모델 운영 분야에서 쓰이는 용어로, 이미 학습이 끝난 모델이 실제 입력을 받아 결과를 계산해 돌려주는 단계를 가리키며, 사용자가 ChatGPT 같은 서비스에서 답을 받는 순간이 모두 추론입니다.

AI 활용 분야에서 쓰이는 OCR(Optical Character Recognition, 광학 문자 인식)의 약자로, 이미지·스캔본·사진 속 글자를 컴퓨터가 텍스트로 인식해 검색·편집할 수 있게 변환하는 기술입니다.

AI 기초 분야에서 쓰이는 Natural Language Processing(자연어 처리)의 약자로, 사람이 쓰는 말과 글을 컴퓨터가 이해하고 다룰 수 있도록 분석·변환·생성하는 기술 분야입니다.

AI 모델 분야에서 쓰이는 용어로, 답을 곧장 내놓지 않고 풀이 과정을 내부적으로 길게 생각한 다음 응답하도록 추론 단계를 강화 학습한 LLM 계열입니다.

AI 활용 분야에서 쓰이는 Artificial Intelligence(인공지능) Agent의 줄임말로, 사람이 시킨 목표를 달성하기 위해 스스로 계획을 세우고 도구를 호출하며 결과를 검증하는 자율 작업 시스템입니다.

AI 모델 분야에서 쓰이는 용어로, 텍스트·이미지·음성·영상 같은 여러 형식(modality)을 한 모델이 함께 입력받거나 출력할 수 있도록 만든 인공지능 처리 방식입니다.

AI 모델 분야에서 쓰이는 용어로, 단어·문장·이미지·코드의 의미를 컴퓨터가 이해하도록 압축한 숫자 묶음으로, 의미가 가까운 항목은 벡터 공간에서 거리도 가까워지도록 학습됩니다.

AI 모델 학습 분야에서 쓰이는 용어로, LLM이 대량의 웹·책·코드 텍스트를 미리 읽으며 단어 사이의 통계 관계를 익히는 첫 번째 학습 단계로, 모델의 기초 언어 능력이 만들어지는 과정입니다.

AI 모델 신뢰성 분야에서 쓰이는 용어로, LLM이 사실과 다른 정보를 마치 사실인 듯 자연스럽게 생성해 출력하는 현상을 가리킵니다.

AI 활용 분야에서 쓰이는 용어로, LLM이 한 번의 대화·요청에서 동시에 기억하고 처리할 수 있는 입력과 출력의 최대 토큰 수를 가리키며, 긴 문서 분석·코드 베이스 이해의 한계를 결정합니다.

AI 활용 분야에서 쓰이는 용어로, 글·이미지·코드·음성·영상처럼 새로운 콘텐츠를 사람의 요청에 따라 생성해 내는 AI(Artificial Intelligence, 인공지능) 기술 전반을 가리킵니다.

AI 기초 분야에서 쓰이는 용어로, 2017년 구글 연구진이 발표한 신경망 구조로, 문장 안 모든 단어가 서로 어떤 관계인지 한 번에 계산하는 셀프 어텐션 방식으로 동작합니다.

AI 모델 분야에서 쓰이는 Small Language Model(소형 언어 모델)의 약자로, 적은 메모리·전력으로도 로컬 단말이나 서버에서 빠르게 동작하도록 만든 소규모 인공지능 모델입니다.

AI 모델 분야에서 쓰이는 Large Language Model(거대 언어 모델)의 약자로, 수천억 단어의 텍스트를 미리 학습해 사람의 질문에 자연스럽게 답할 수 있도록 만든 대규모 인공지능 모델입니다.

AI 기초 분야에서 쓰이는 용어로, 사람 뇌의 뉴런이 신호를 주고받는 구조에서 착안해 입력값을 여러 층의 노드를 거쳐 변환·예측하도록 만든 인공지능 핵심 모델 구조입니다.

AI 기초 분야에서 쓰이는 용어로, 사람 뇌신경 구조에서 착안한 다층 신경망을 데이터로 학습시켜 사진·음성·문장을 컴퓨터가 직접 인식·생성하게 만든 기계 학습 기법입니다.

AI 기초 분야에서 쓰이는 Machine Learning(기계 학습)의 약자로, 데이터로부터 규칙을 스스로 찾아내도록 컴퓨터를 학습시키는 인공지능 핵심 기법입니다.

기술 분야 전반에 쓰이는 Artificial Intelligence(인공지능)의 약자로, 사람의 학습·추론·인식·언어 능력을 기계가 흉내 내거나 일부 능가하도록 만든 기술 분야입니다.

AI 기초 분야에서 쓰이는 용어로, LLM이 사람의 문장을 처리할 때 사용하는 최소 단위로, 단어보다 작은 음절이나 조각으로 잘려 모델 입력·출력 길이와 비용을 계산하는 기준이 됩니다.

AI 기초 분야에서 쓰이는 용어로, 문장·이미지·코드 같은 데이터를 컴퓨터가 이해할 수 있는 숫자 벡터로 변환해 의미가 비슷한 항목끼리 가깝게 배치하는 표현 방식입니다.

AI 모델 분야에서 쓰이는 용어로, 무작위 노이즈를 단계적으로 걸러내며 이미지를 만들어 내도록 설계한 생성 모델 구조로, Stable Diffusion·DALL·E·Sora·Veo의 핵심 알고리즘입니다.