기본

Hallucination

할루시네이션, 환각

AI 모델 신뢰성 분야에서 쓰이는 용어로, LLM이 사실과 다른 정보를 마치 사실인 듯 자연스럽게 생성해 출력하는 현상을 가리킵니다.

쉬운 풀이

환각은 AI가 모르는 내용을 모른다고 말하지 않고 그럴듯하게 지어내서 답하는 현상이에요. 시험 답안지에 모르는 문제를 비워 두기 싫어 그럴듯한 거짓말을 자신감 있게 써내는 모습과 비슷합니다. 조별 과제로 자료 조사를 시켰는데, 친구가 존재하지 않는 논문 제목과 가짜 저자 이름을 출처로 적어 와서 그대로 발표한 그림과도 닿아 있어요. AI는 "모른다"고 답하기보다 가장 그럴듯한 단어를 이어 붙이도록 학습돼 있어 자주 일어나는 일입니다. 보고서·발표 자료에 그대로 옮겨 적으면 신뢰가 한 번에 무너지기 때문에, AI 답변의 숫자·고유명사·출처는 따로 확인하는 습관이 필요합니다.

한 줄 비유

경력 화려한 신입이 모르는 수치도 자신 있게 보고서에 적어 넣는 상황입니다.

활용 예시

Case 1

미국 변호사 Mata v. Avianca — ChatGPT가 만든 가짜 판례 6건 제출

2023년 5월, 뉴욕주에서 30년 경력 변호사 Steven Schwartz가 항공사 상대 소송 답변서에 ChatGPT로 찾은 판례를 그대로 인용했습니다 ^[2]. 판사가 확인해 보니 Varghese v. China Southern Airlines 등 최소 6건이 실존하지 않는 가짜 판례였고, 인용된 문장과 사건번호까지 모두 모델이 지어낸 것이었습니다 ^[2]. 같은 해 6월 22일 Castel 판사는 변호사 2명과 소속 로펌에 $5,000 벌금을 부과했습니다 ^[2].

Case 2

Air Canada 챗봇 — 잘못 안내한 항공사가 배상 책임

2022년 11월, Jake Moffatt 씨가 조모상으로 항공권을 예약하면서 Air Canada 챗봇에게 사별 할인 적용 방법을 물었고, 챗봇은 "표 구매 후 90일 안에 소급 신청하면 환불된다"고 답했습니다. 실제 약관에는 사후 환불 조항이 없었습니다 ^[3]. 2024년 2월 14일 캐나다 BC주 시민결정심판원은 Moffatt v. Air Canada (2024 BCCRT 149) 판결에서 챗봇 답변도 회사 책임 범위에 들어간다며 항공사에 CAD 812.02 배상을 명령했습니다 ^[3]. 챗봇 환각이 회사 손해배상으로 이어진 첫 판례입니다.

Case 3

한국 ChatGPT "세종대왕 맥북 던짐 사건" — 정보 부족 언어의 환각 밈화

2023년 2월, 한국 사용자들이 "조선왕조실록에 기록된 세종대왕의 맥북프로 던짐 사건을 알려달라"고 묻자 ChatGPT는 "15세기 세종대왕이 훈민정음 초고 작성 중 담당자에게 분노해 맥북프로를 던졌다"고 진지하게 답했습니다 ^[4]. 장병탁 서울대 AI연구원장은 한국일보 인터뷰에서 "모델이 모른다고 답하는 대신 확률적으로 가장 그럴듯한 단어를 이어 붙이는 구조 때문"이라고 설명했습니다 ^[4]. 한국어처럼 학습 데이터 비중이 낮은 언어일수록 환각 빈도가 높다는 점이 확인된 사례입니다 ^[4].

Case 4

OpenAI GPT-5 — 사실 정확도 6배 개선, 환각률 한 자릿수대 진입

OpenAI는 2025년 8월 GPT-5 시스템 카드에서 LongFact·FActScore 기반 사실 검증 평가 결과를 공개했습니다 ^[5]. 웹 검색을 켠 상태에서 gpt-5-main의 환각률은 9.6%로, 직전 모델 GPT-4o의 12.9% 대비 -3.3%p 낮아졌습니다 ^[5]. 추론 모델 gpt-5-thinking은 같은 평가에서 환각률 4.5%를 기록해, 사실 오류 빈도가 OpenAI o3 대비 약 6배 적어졌다고 보고됐습니다 ^[5]. 다만 같은 모델도 웹 검색을 끄면 환각률이 47%까지 올라, 외부 자료 결합 없이는 한계가 분명하다는 점도 함께 공개됐습니다 ^[5].

참고사항

답변에 등장한 고유명사·판례번호·통계 수치를 그대로 복사해 검색 엔진에 붙여 넣어 실존 여부를 확인합니다.
같은 질문을 두 개 이상의 모델(예: Claude, GPT, Gemini)에 던져 답이 갈리는 지점을 환각 의심 후보로 표시합니다.
사내 자료를 묻는 질문은 모델 단독이 아니라 RAG(검색 증강 생성, 외부 문서를 함께 읽고 답하는 방식) 구성으로 옮기고, 답변마다 출처 링크를 함께 출력하도록 프롬프트에 명시합니다.
모델 응답에 "확신하지 않으면 '확인 불가'라고 답하라"는 지침을 시스템 프롬프트에 추가합니다.
외부 인용용 보고서는 모델 답변을 1차 초안으로만 사용하고, 사람이 1차 출처(논문·판례·공식 문서)와 대조한 뒤 결재 라인에 올립니다.

환각은 LLM의 부산물이 아니라 구조적 특성에 가깝습니다. 모델은 학습 분포 안에서 다음 토큰의 확률을 계산할 뿐, 자신이 모른다는 사실을 따로 인지하지 않습니다 ^[1]. Vectara HHEM 리더보드 기준 주요 상용 모델의 요약 환각률은 GPT-4o 1.5%, GPT 계열 전체 0.8~2.0% 구간으로 좁혀졌지만, 0%에는 여전히 닿지 못한다는 점이 반복 확인되고 있습니다 ^[7]. Stanford HAI·RegLab의 2024년 5월 법률 LLM 평가에서는 "환각 없음"을 광고한 RAG 기반 도구도 17~34% 잘못된 답을 냈고, 일반 LLM은 58~88% 환각률을 보였습니다 ^[6].

대응은 세 갈래로 진행 중입니다.

RAG로 답변 근거를 실시간 문서에서 가져오는 방식이 표준이 됐습니다. 포스코그룹은 2024년 9월부터 사내 지식정보와 LLM을 결합한 P-GPT를 운영해 그룹 37개사 약 2만 명이 보고서 작성·자료 검색에 쓰고 있고, 네이버는 자체 LLM HyperCLOVA X와 검색을 결합한 Cue:를 검색에 통합해 출처 표기와 함께 답하도록 설계했습니다 ^[8][9].
Anthropic은 Claude에서 헌법적 AI(Constitutional AI)를 적용해 모델이 출처 없는 단정을 줄이도록 학습시켰고, OpenAI는 GPT-5 시스템 카드에서 gpt-5-thinking이 OpenAI o3 대비 사실 오류 빈도를 약 6배 줄였다고 공개했습니다 ^[5][10].
추론 모델 흐름이 자기 검증 단계를 끼워 넣어 정확도를 끌어올리고 있습니다. 업계는 현재 시점에서 환각을 "제거" 대신 "측정·완화"하는 문제로 다루며, 핵심 의사결정 자료는 사람이 1차 출처와 대조하는 절차를 유지하는 쪽으로 정착하고 있습니다 ^[5][7].

흐름

2020

GPT-3 등장

대규모 LLM이 그럴듯한 거짓을 생성하는 문제가 본격 부각됩니다.

2022

ChatGPT 대중화

사용자 폭증으로 환각이 실사용 리스크로 떠올랐습니다.

2023

RAG·인용 도입

외부 문서 검색으로 근거 기반 답변을 강화했습니다.

2024

RLHF·Constitutional AI

정렬 학습으로 사실성과 안전성을 함께 끌어올렸습니다.

2025—

추론 모델·검증 강화

단계적 사고와 자기검증으로 환각을 더 줄이고 있습니다.

이 용어와의 관계

기반 기술
LLM환각은 LLM의 확률적 생성에서 비롯됩니다
다음 단계
RAG외부 문서 검색으로 근거를 붙이는 완화책
유사 개념
AI Safety환각 억제는 안전성의 핵심 축입니다
대표 기법
RLHF사람 피드백으로 사실성을 학습시킵니다
관련 분야
AI Alignment의도된 답에 맞추는 정렬 연구

RAG vs Fine-tuning (환각 완화)

RAGFine-tuning

접근 방식외부 문서 검색 후 답변사실을 모델에 학습

근거 추적출처 표시 가능근거 추적 어려움

최신성문서 교체로 즉시 반영재학습 필요

환각 억제근거 기반으로 강함도메인 톤에 강함

쓰는 곳사내 챗봇·고객 지원스타일·전문 분야 특화