투자은행 모건스탠리의 사내 지식 AI 도입 사례

• 모건스탠리는 사내 리서치 문서 10만 건을 GPT-4 기반 비서로 연결해 어드바이저 팀 98% 이상이 매일 쓰는 도구로 정착시켰습니다.^[1]
• 성과의 바탕은 모델이 아니라 평가(evals) 체계였습니다. 요약·검색 품질을 매일 자동 채점하며 개선했습니다.^[1]
• 문서 접근률은 20%에서 80%로 올랐고, 회의 후속 작업은 며칠에서 몇 시간 단위로 줄었습니다.^[1][2]

도입 배경

모건스탠리 자산관리 부문은 시장 분석, 상품 설명, 절차 안내 등 수십만 건의 내부 문서를 보유하고 있었지만, 대부분 PDF로 흩어져 있어 어드바이저가 제때 찾아 쓰기 어려웠습니다. 회사 추산으로 실제 업무에 활용되는 문서는 전체의 약 20%에 그쳤습니다.^[1] 고객 질문에 답하려면 담당자가 자료를 아는 사람을 수소문해 찾아다니는 구조였고, 이 병목을 푸는 것이 프로젝트의 출발점이었습니다.

무엇을 어떻게 했나

모건스탠리는 OpenAI와 협력해 2023년 GPT-4 기반 사내 비서 'AI @ Morgan Stanley Assistant'를 도입했습니다. 구조는 RAG입니다. 어드바이저가 질문하면 10만 건 규모의 사내 문서에서 관련 내용을 검색해 근거와 함께 답변을 만듭니다.^[1]

핵심 투자는 AI 평가 체계였습니다. 전문가가 '좋은 답변' 기준을 정의하고, 요약 품질 평가, 다국어 고객 대응을 위한 번역 평가, 그리고 매일 샘플 질문을 돌려 품질 하락을 감지하는 회귀 테스트를 운영했습니다.^[1] 모델을 바꾸거나 문서가 늘어도 품질을 숫자로 확인할 수 있는 장치를 먼저 만든 셈입니다.

2024년 6월에는 두 번째 도구인 회의 요약 도구 'AI @ Morgan Stanley Debrief'를 출시했습니다. 고객 동의를 받은 회의의 노트를 작성하고 후속 이메일 초안까지 만드는 도구로, 검색 비서에서 업무 자동화로 범위를 넓힌 단계입니다.^[2]

결과

• 98% 이상 — 어드바이저 팀의 AI 비서 채택률, 거의 매일 사용^[1]
• 20% → 80% — 어드바이저가 실제 활용하는 문서 접근률 변화^[1]
• 7,000개 → 100,000건 — 미리 준비된 질문 응답에서 전체 문서 검색 기반 응답으로 확장^[1]
• 며칠 → 몇 시간 — Debrief 도입 후 회의 후속 작업 소요 시간^[1][2]

수치는 모두 회사와 OpenAI의 발표 기준입니다. 독립 검증된 수치는 아니라는 점은 감안해 읽을 필요가 있습니다.

따라 하려면

1. 지식 자산 목록화 — 어떤 문서가 어디에 있고 최신본이 무엇인지부터 정리합니다. 검색 대상이 엉망이면 AI도 엉망인 답을 냅니다.
2. 좁은 범위 파일럿 — 한 팀, 한 문서군으로 시작해 검색 품질을 확인합니다.
3. 평가 기준 먼저 만들기 — 전문가가 모범 답변과 채점 기준을 작성하고, 자주 묻는 질문으로 평가 세트를 구축합니다.
4. 매일 도는 회귀 평가 — 문서 추가·모델 변경 때마다 점수를 비교해 품질 하락을 조기에 잡습니다.
5. 인접 업무로 확장 — 검색이 자리 잡은 뒤 회의 요약, 후속 문서 초안처럼 인접 업무로 범위를 넓힙니다.

한계·주의

금융은 규제 산업이라 법무·컴플라이언스 검토와 사람의 최종 확인이 전제입니다. 모건스탠리 사례의 교훈은 모델 성능이 아니라 운영 체계입니다. 평가 체계 없이 도구만 도입하면 할루시네이션 한 번에 사용자 신뢰가 무너지고 도구는 방치됩니다. 또 채택률 98%라는 숫자는 수년간의 교육과 현장 피드백 반영이 쌓인 결과로, 도구 출시 직후의 기대치로 삼기에는 무리가 있습니다. 사내 문서의 품질과 최신성이 낮다면 그 정비가 AI 도입보다 먼저입니다.