Together AI 4장 카드뉴스

AI 인프라 분야에서 미국 Together AI가 2022년에 창업해 운영하는 오픈모델 추론·학습 클라우드로, Llama·Mistral·Qwen 같은 오픈웨이트 모델을 API 한 줄로 호출해 쓸 수 있게 해줍니다.

Together AI는 Meta·Mistral·Qwen처럼 가중치가 공개된 AI 모델을 직접 GPU에 깔지 않고 인터넷 주소(API)로 곧장 호출해 쓰게 해 주는 클라우드예요. 조별 과제로 챗봇을 만들 때 보통 GPU 서버를 빌리고 모델 파일을 내려받고 환경을 맞추느라 하루를 쓰는데, Together AI는 OpenAI SDK의 주소만 바꿔 끼우면 같은 코드를 1분 만에 Llama 3.3 70B로 돌릴 수 있습니다. 200개가 넘는 오픈 모델이 같은 규격으로 정리돼 있어 모델 비교, 단가 산출, 파인튜닝 PoC에 자주 쓰여요.

**케이스 1: Zomato — Llama 기반 고객지원 봇으로 응답 속도·만족도 동시 개선** 회사 공식 고객 사례에 따르면 인도 음식배달 1위 Zomato는 기존 GPT-4 기반 챗봇을 Together AI의 Llama 70B·8B 하이브리드 배치로 옮긴 뒤, 의도 분류는 70B, 응답 생성은 8B로 분리해 정확도와 비용을 동시에 잡았습니다.[6] 어머니의 날 같은 피크 구간에는 분당 1