Whisper

2022년 9월 21일 OpenAI는 Whisper를 GitHub에 MIT 라이선스로 공개했습니다.^[1][2] 웹에서 수집한 68만 시간의 다국어 음성-텍스트 쌍으로 학습한 인코더-디코더 트랜스포머이며, 같은 시점 OpenAI 블로그와 arXiv 논문(2212.04356)에 따르면 기존 지도 학습 모델 대비 강한 억양·배경 소음·전문 용어에 더 잘 견딘다고 보고됐습니다.^[1][3] 공개 직후 whisper.cpp(C++ 이식), WhisperX(단어 단위 타임스탬프·화자 분리), Faster-Whisper 등 파생 프로젝트가 잇따라 등장해 GitHub 스타 9.4만 개를 넘는 ASR 생태계가 형성되었습니다.^[2][4]

온라인 강의 플랫폼 인프런은 2023년 10월 자사 기술 블로그에서 강의 영상 자동 자막 시스템에 WhisperX와 AWS g5.xlarge GPU 인스턴스를 도입한 사례를 공개했습니다.^[8] 28분 길이 강의 영상의 자막 생성을 59초에 끝냈다고 보고했는데, 영상 길이 대비 약 28배 빠른 처리 속도입니다.^[8] 인프런 측은 한국어 자막의 줄 길이·타이밍을 별도로 후처리하면서 실제 서비스에 적용했고, 도입 전 외부 STT API로 받던 자막을 사내 파이프라인으로 옮긴 결과 비용·대기 시간을 동시에 줄였다고 밝혔습니다.^[8]

OpenAI는 2024년 10월 Realtime API에 저지연 스트리밍 전사 모델 gpt-realtime-whisper를 추가했습니다.^[7] 분당 $0.017에 사용 가능하며, 회의·교실·방송·이벤트 자막, 진행 중인 회의록 요약, 음성 에이전트의 연속 청취 같은 흐름을 한 번의 API 호출로 처리합니다.^[7] 콜센터·헬스케어·세일즈·채용 등 음성 대화량이 많은 영역에서 후속 자동화의 기준 인프라로 빠르게 채택되고 있습니다.^[7]

리턴제로가 운영하는 한국어 음성 인식 벤치마크 사이트는 공개 자료·녹취·콜센터 음원 등 다양한 한국어 데이터에서 주요 STT 엔진의 단어 오류율(Word Error Rate, WER)을 비교합니다.^[9] 이 자료에 따르면 OpenAI Whisper Large는 한국어 WER 약 5.5% 수준으로, 이전에 공개된 오픈소스 ASR 모델 대비 약 8%p 낮은 오류율을 기록했습니다.^[9] 한국어 학습 시간이 약 8천 시간으로 영어를 제외한 언어 중 7번째로 많아, 한국어 회의록·강의 자막 도구가 Whisper 기반으로 빠르게 전환된 배경이기도 합니다.^[9][10]