13건
Attention Mechanism
어텐션 메커니즘
어텐션 메커니즘은 입력 데이터의 여러 부분에 서로 다른 가중치를 매겨, 지금 필요한 부분만 골라 보게 만드는 계산 방식입니다 [6]. 문장 전체를 고정 길이 벡터 하나로 압축하던 기존 구조의 병목을 없앤 것이 핵심입니다 [2]. 2014년 기계번역 연구에서 원문 가운데 관련 있는 부분을 모델이 자동으로 찾아내는 방식으로 처음 제안됐고 [2], 2017년 구글 연구진의 트랜스포머 논문이 순환·합성곱 구조를 걷어내고 어텐션만으로 모델을 구성하면서 오늘날 대형 언어모델의 기본 골격이 됐습니다 [1].
기본
Gemma
젬마
Gemma는 구글 딥마인드가 가중치를 공개하는 경량 오픈 웨이트 모델 제품군입니다. Gemini와 같은 연구·기술을 바탕으로 만들어졌고, 노트북이나 워크스테이션, 사내 서버에서 직접 실행할 수 있습니다 [1]. 첫 공개는 2024년 2월 2B·7B 두 종이었습니다 [1]. Gemma 1~3 계열은 OSI 오픈소스 정의를 충족하지 않는 Gemma 이용약관과 금지 사용 정책이 붙은 형태였습니다 [2]. 2026년 4월 공개된 Gemma 4부터는 Apache 2.0으로 바뀌었습니다 [4].
모델·서비스
Solar
솔라
국내 AI 스타트업 업스테이지가 개발하는 거대언어모델 시리즈입니다. 2023년 말 작은 모델을 쌓아 성능을 높이는 뎁스 업스케일링 기법의 솔라 10.7B로 이름을 알렸습니다. 2025년 7월 솔라 프로 2가 글로벌 평가기관 아티피셜 애널리시스의 프런티어 모델 10종에 국내 모델 최초로 선정됐고, 같은 해 8월 정부 독자 AI 파운데이션 모델 사업의 5개 정예팀에 뽑혔습니다. 2026년 7월에는 가중치를 공개한 솔라 오픈 2를 내놓았습니다. 작은 파라미터로 높은 성능을 내는 효율 중심 전략이 특징입니다.
모델·서비스
LoRA
로라
모델 미세조정 분야에서 쓰이는 Low-Rank Adaptation(저차원 적응)의 약자로, 사전학습된 가중치는 그대로 얼리고 각 층에 작은 저차원 행렬만 추가로 학습시키는 파라미터 효율적 미세조정 기법입니다. 전체 가중치를 다시 학습하지 않아 학습 비용과 저장 용량이 크게 줄어듭니다. 학습이 끝난 저차원 행렬은 원래 가중치에 합칠 수 있어 추론 속도도 그대로입니다. 2021년 마이크로소프트 연구진이 제안했고, 지금은 오픈소스 모델을 값싸게 특화시키는 표준 방법으로 쓰입니다.
기본
Quantization
퀀타이제이션
AI 모델의 가중치와 활성값을 32비트·16비트 부동소수점에서 8비트·4비트 정수 같은 낮은 정밀도로 바꿔 크기와 연산량을 줄이는 모델 경량화 기법입니다. 정밀도를 낮추면 메모리 사용량과 응답 지연이 함께 줄어, 같은 GPU에서 더 큰 모델을 올리거나 휴대폰에서 온디바이스로 구동할 수 있습니다. 학습을 마친 모델에 적용하는 사후 양자화(PTQ)와 학습 과정에 반영하는 양자화 인식 학습(QAT)으로 나뉩니다. 정확도 손실을 얼마나 억제하느냐가 관건입니다.
기본
Interpretability
해석 가능성
AI 활용 분야에서 쓰이는 용어로, 인공지능 모델 내부의 뉴런·회로·가중치 동작을 직접 들여다보며 모델이 왜 특정 답을 만드는지 인과적으로 추적하는 연구 분야로, Explainability의 더 깊은 형태입니다.
보안·윤리
Stable Diffusion
스테이블 디퓨전
AI 활용 분야에서 영국 Stability AI가 2022년에 공개한 오픈웨이트 텍스트 기반 이미지 생성 모델로, 가중치를 공개해 누구나 로컬 컴퓨터에서 직접 실행하고 파인튜닝할 수 있게 한 Diffusion 계열 표준 모델입니다.
모델·서비스
Mistral
미스트랄
AI 모델 분야에서 프랑스 Mistral AI가 공개한 오픈웨이트 LLM(Large Language Model, 거대 언어 모델) 시리즈로, 유럽 데이터 보호 규제 환경을 고려한 가벼운·고성능 모델을 가중치 공개 형태로 제공합니다.
모델·서비스
Qwen
큐웬
AI 모델 분야에서 중국 Alibaba가 공개한 오픈웨이트 LLM(Large Language Model, 거대 언어 모델) 시리즈로, 다국어·코딩·추론·멀티모달 기능을 갖춘 채로 가중치를 공개해 누구나 다운로드해 직접 운영할 수 있게 한 모델군입니다.
모델·서비스
Llama
라마
AI 모델 분야에서 Meta가 2023년부터 공개해 온 오픈웨이트 LLM(Large Language Model, 거대 언어 모델) 시리즈로, 가중치를 공개해 누구나 다운로드해 직접 운영할 수 있게 한 대표적 오픈모델군입니다.
모델·서비스
Closed Model
클로즈드 모델
AI 모델 분야에서 쓰이는 용어로, 학습된 가중치를 공개하지 않고 회사가 API·자체 호스팅으로만 제공하는 LLM 운영 방식을 가리키며, GPT-5·Claude·Gemini 등이 대표적입니다.
기본
Open Weight
오픈 웨이트
AI 모델 분야에서 쓰이는 용어로, 학습된 가중치 파일을 누구나 다운로드해 직접 실행·파인튜닝할 수 있도록 공개한 LLM 운영 방식을 가리키며, Llama·Mistral·Qwen 등이 대표적입니다.
기본
Training
트레이닝
AI 모델 분야에서 쓰이는 용어로, 인공지능 모델이 데이터를 입력받아 예측 오차를 줄이는 방향으로 내부 가중치를 반복해서 조정하는 학습 과정 전반을 가리키는 일반 표현입니다.
기본