기본

NLP

AI 기초 분야에서 쓰이는 Natural Language Processing(자연어 처리)의 약자로, 사람이 쓰는 말과 글을 컴퓨터가 이해하고 다룰 수 있도록 분석·변환·생성하는 기술 분야입니다.

쉬운 풀이

NLP는 "사람 말을 컴퓨터가 알아듣고 답하도록 만드는 기술"이에요. 구글 번역, 시리·빅스비 같은 음성 비서, 카카오톡 챗봇 상담사처럼 대학생이 매일 쓰는 서비스가 모두 NLP로 굴러갑니다. 조별 과제 자료를 ChatGPT로 요약하거나 아르바이트 면접 질문을 영어로 번역해 본 적이 있다면, 그 한 번이 전부 NLP 결과물이에요. 요즘 AI 뉴스에 매일 등장하는 거대 언어 모델(LLM)도 결국 NLP 한 가족이라, 한 번 짚고 가면 다른 용어들이 훨씬 쉬워집니다.

한 줄 비유

회사가 외국어 메일을 한국어로 받아 보도록 통역사를 상시 배치하는 작업입니다.

활용 예시

Case 1

Google — GNMT(Google Neural Machine Translation, 구글 신경망 기계 번역)로 번역 품질 한 단계 끌어올림

구글은 2016년 9월 NMT 기반 번역 시스템 GNMT를 공개하고 논문 「Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation」을 arXiv에 발표했습니다.^[5] 영어-프랑스어 단일 모델 BLEU 38.95, 영어-독일어 24.17을 기록했고, 사람 평가에서 기존 구문 기반(phrase-based) 번역 대비 오류가 평균 60% 감소했다고 보고됐습니다.^[5] 이 결과로 구글 번역 서비스 전반이 NMT 기반으로 전환되었고, 이후 모든 상용 번역 엔진의 기준선이 신경망 모델로 바뀌었습니다.

Case 2

네이버 — 파파고(Papago)로 한국어-외국어 번역 점유율 확보

네이버는 자체 NMT 엔진을 적용한 번역 서비스 파파고를 운영하면서, 한국어 형태소·어순 특성을 학습 데이터에 반영해 외산 번역기보다 한국어 감지·번역에 특화된 결과를 내놓고 있습니다.^[6] 모바일 앱과 네이버 클라우드 플랫폼 Papago Translation API 두 갈래로 제공되며, 텍스트·음성·이미지(OCR) 입력을 모두 받습니다.^[7] 국내 기업이 다국어 고객 응대 챗봇이나 해외 쇼핑몰을 만들 때 API 한 번 붙이는 것으로 13개 언어 양방향 번역을 끼워 넣을 수 있어, 별도 번역팀을 두기 어려운 스타트업에서 표준 옵션으로 자리 잡았습니다.

Case 3

카카오 — KhaIII 형태소 분석기로 한국어 검색·챗봇 기반 마련

카카오는 한국어 형태소 분석기 KhaIII(Kakao Hangul Analyzer Ⅲ)를 오픈소스로 공개하고, 세종 코퍼스를 CNN(Convolutional Neural Network, 합성곱 신경망)으로 학습시켜 정확도와 처리 속도를 함께 끌어올렸습니다.^[8] 정보 검색·기계 번역·스마트 스피커·챗봇 등 카카오 내부 서비스 다수가 이 분석기 위에서 동작하고, 외부 개발자도 GitHub에서 그대로 가져다 쓸 수 있습니다.^[8] 룰 기반 분석기로는 신조어·줄임말 대응이 늦은데, 데이터 기반으로 동작하니 새로운 학습 데이터를 추가하는 것만으로 성능을 갱신할 수 있다는 점이 도입 명분이었습니다.

Case 4

Google — BERT로 NLP 벤치마크 전반을 한꺼번에 갱신

구글은 2018년 BERT(Bidirectional Encoder Representations from Transformers, 양방향 인코더 표현 트랜스포머)를 공개하고, 같은 해 GLUE(General Language Understanding Evaluation, 일반 언어 이해 평가) 벤치마크 점수를 80.4점으로 끌어올렸습니다.^[9] 직전 최고 모델 대비 7.6점 향상이고, SQuAD(Stanford Question Answering Dataset, 스탠퍼드 질의응답 데이터셋) v1.1 F1 점수 93.2로 사람 평균을 2.0점 앞섰습니다.^[9] 이후 검색·요약·질의응답 분야의 학계·산업계 표준 출발점이 BERT 계열로 굳어졌고, 구글 검색 본 서비스에도 2019년부터 적용되어 NLP 기술이 곧 핵심 인프라가 됐다는 사실을 보여 줬습니다.

참고사항

Wikipedia 한국어/영문 "Natural language processing" 항목에서 정의 한 줄과 주요 과제(음성 인식·번역·생성)를 메모합니다.
구글 번역(translate.google.com)과 네이버 파파고(papago.naver.com)에 같은 한 문단을 넣고 결과를 비교해 봅니다.
ChatGPT 또는 Claude에 "이 영어 문서 요약해 줘"를 시켜 보고, 결과물의 자연스러움·정확도를 자신이 직접 요약한 버전과 비교합니다.
Hugging Face Hub(huggingface.co/models)에서 "korean nlp" 태그로 모델을 5개 골라 어떤 과제(번역·분류·요약 등)를 다루는지 살펴봅니다.
본인이 자주 쓰는 서비스(카톡 상담사, 시리, 메일 자동 분류 등) 가운데 NLP가 동작 중인 지점 3개를 찾아 한 줄로 정리해 봅니다.

NLP는 학습 데이터에 담긴 편향을 그대로 학습합니다. 영어·중국어 중심 코퍼스에 비해 한국어·아랍어·아프리카 언어 자료는 양과 품질이 떨어져, 동일한 모델이 언어에 따라 성능 격차가 크게 벌어집니다.^[1] 모델이 "그럴듯한" 답을 만들지만 사실과 다른 환각(hallucination)을 일으키는 문제, 학습 시점 이후 정보를 모르는 시점 한계, 그리고 한국어 같은 교착어에서 형태소 분석·존댓말·생략 처리가 어렵다는 구조적 어려움이 여전히 남아 있습니다.^[10] 같은 단어가 문맥에 따라 전혀 다른 뜻을 가지는 다의성, 사용자가 줄여 쓰거나 일부러 비틀어 쓰는 신조어·은어를 잡아내는 것도 상용 서비스에서는 매번 부딪히는 벽이고, 의료·법률 같은 전문 도메인 용어는 별도 학습 데이터 없이는 정확도가 급격히 떨어집니다.^[10]

진화 방향은 크게 세 갈래입니다.

Transformer 기반 거대 언어 모델(LLM)이 단일 과제 모델을 대체하며 번역·요약·코딩·대화를 한 모델에서 처리하는 파운데이션 모델(foundation model)로 통합되고 있습니다.^[3]
검색 증강 생성(RAG)으로 외부 자료를 끌어와 환각을 줄이는 패턴이 표준이 됐고, 사내 매뉴얼이나 최신 뉴스를 같이 읽고 답하는 챗봇이 일반화되고 있습니다.
한국어 등 비영어권 언어 데이터를 모은 다국어·다언어(multilingual) 모델이 늘면서 언어별 격차가 좁혀지는 추세입니다. 또 음성·이미지·텍스트를 한 모델에서 다루는 멀티모달 흐름이 NLP 영역을 넓히고 있어, 텍스트 기반 NLP라는 옛 정의 자체가 다시 쓰이는 중이라는 시각도 있습니다.^[4] 시장 규모도 2025년 305억 달러에서 2026년 348억 달러로 약 15.9% 성장한 것으로 추정됩니다.^[4]

이 용어와의 관계

유사 개념
Throughput같은 기본 갈래에서 자주 함께 등장하는 개념입니다.
유사 개념
Latency같은 기본 갈래에서 자주 함께 등장하는 개념입니다.
유사 개념
SWE-bench같은 기본 갈래에서 자주 함께 등장하는 개념입니다.