Vellum 4장 카드뉴스

AI 개발도구 분야에서 미국 Vellum이 2022년에 공개한 LLMOps 플랫폼으로, 프롬프트 작성·버전 관리·테스트·관측을 한 화면에서 처리하도록 만든 기업용 운영 도구입니다.

Vellum은 ChatGPT 같은 거대 언어 모델(LLM, Large Language Model)을 회사 서비스에 올릴 때 거치는 일을 한 화면에 모아 둔 운영 도구예요. 프롬프트를 짜고, 정답 케이스로 점수를 매기고, 한 번 더 손본 뒤 배포까지 거는 과정을 노션 보드에서 카드를 옮기듯 그래프로 잇습니다. 조별 과제에 비유하면, 자료 조사·초안·검토·제출이 따로 흩어져 있던 카톡 대화를 노션 한 페이지에 모아 누가 언제 무엇을 바꿨는지 한눈에 보는 셈이에요. AI 제품을 만드는 팀이 "왜 이번 답이 나빠졌지"를 추적하고 회귀를 잡는 표준 창구로 자주 선택합니다.

**케이스 1: Redfin — "Ask Redfin" 대화형 에이전트 14개 시장 동시 배포** 미국 부동산 플랫폼 Redfin은 도메인 전문가가 Vellum 평가 스위트에서 수천 건 테스트 케이스로 대화형 에이전트를 검증한 뒤, 14개 시장의 수백만 사용자에게 "Ask Redfin"을 출시했습니다.[3][6] 프롬프트 한 줄을 바꾸기 전 회귀가 어디서 터지는지 미리 잡는 흐름이 핵심이었습