모델·서비스

Together AI

투게더

AI 인프라 분야에서 미국 Together AI가 2022년에 창업해 운영하는 오픈모델 추론·학습 클라우드로, Llama·Mistral·Qwen 같은 오픈웨이트 모델을 API 한 줄로 호출해 쓸 수 있게 해줍니다.

쉬운 풀이

Together AI는 Meta·Mistral·Qwen처럼 가중치가 공개된 AI 모델을 직접 GPU에 깔지 않고 인터넷 주소(API)로 곧장 호출해 쓰게 해 주는 클라우드예요. 조별 과제로 챗봇을 만들 때 보통 GPU 서버를 빌리고 모델 파일을 내려받고 환경을 맞추느라 하루를 쓰는데, Together AI는 OpenAI SDK의 주소만 바꿔 끼우면 같은 코드를 1분 만에 Llama 3.3 70B로 돌릴 수 있습니다. 200개가 넘는 오픈 모델이 같은 규격으로 정리돼 있어 모델 비교, 단가 산출, 파인튜닝 PoC에 자주 쓰여요.

한 줄 비유

오픈웨이트 모델 전용 호스팅 데이터센터를 API 한 줄로 빌려 쓰는 추론 단가 견적서.

활용 예시

Case 1

Zomato — Llama 기반 고객지원 봇으로 응답 속도·만족도 동시 개선

회사 공식 고객 사례에 따르면 인도 음식배달 1위 Zomato는 기존 GPT-4 기반 챗봇을 Together AI의 Llama 70B·8B 하이브리드 배치로 옮긴 뒤, 의도 분류는 70B, 응답 생성은 8B로 분리해 정확도와 비용을 동시에 잡았습니다.^[6] 어머니의 날 같은 피크 구간에는 분당 1,000건 이상의 메시지를 처리했고, 사내 RAG·함수 호출 파이프라인 위에 호스팅 LLM만 갈아끼우는 패턴을 그대로 적용했습니다.^[6] 자체 GPU를 운영하지 않는 운영팀이 챗봇 백엔드를 오픈모델로 교체하는 영역의 표준 레퍼런스로 보고됩니다.

Case 2

한국 사례 — SK텔레콤, 시리즈 B 전략 투자와 A.X·에스터 공동 개발

회사 공식 발표에 따르면 SK텔레콤은 2025년 2월 Together AI 시리즈 B에 전략 투자자로 참여했습니다.^[4] 아시아경제(영문) 보도에 따르면 두 회사는 자체 LLM 'A.X', 북미 시장용 개인 AI 비서 '에스터(Aster)', AI 데이터센터 영역으로 협력을 확장하기로 했고, 협력 범위에는 Together AI의 GPU 효율화 기술 Together Kernel Collection과 양자화 압축 기술 Qtip 활용이 포함됩니다.^[7] 국내 통신사가 미국 오픈소스 인프라 회사를 자사 AI 스택의 일부로 끌어들인 첫 사례로, 자체 모델 운영 비용을 낮추는 데 활용된다고 밝혔습니다.^[7]

Case 3

RedPajama — 1.2조 토큰 규모 오픈 학습 데이터셋 표준화

arXiv 논문에 따르면 Together AI는 Stanford CRFM·ETH DS3Lab·MILA와 공동으로 Meta LLaMA 논문 레시피를 재현한 1.2조 토큰 규모의 오픈 데이터셋 RedPajama-V1을 2023년에 공개했습니다.^[8] 구성은 Common Crawl 8,780억·C4 1,750억·GitHub 590억·arXiv 280억·Wikipedia 240억 토큰 등 7개 소스이며, 전체가 Apache 2.0 라이선스로 상업 이용이 허용됩니다.^[8] 회사 공식 발표에 따르면 누적 다운로드 19만 회·HuggingFace 기반 활용 사례 500건 이상이 보고돼, 오픈 모델 학습용 표준 데이터셋 역할을 맡고 있습니다.^[9] 자체 모델을 직접 사전학습하려는 연구실·스타트업이 첫 학습 코퍼스로 채택하는 영역입니다.

Case 4

추론 가격 경쟁 — Llama 3.3 70B를 백만 토큰당 $0.88로 호출

회사 공식 가격 페이지에 따르면 Together AI 서버리스 API에서 Llama 3.3 70B Instruct Turbo는 입력·출력 평균 백만 토큰당 약 $0.88 단가에 OpenAI 호환 SDK로 호출할 수 있습니다.^[10] 산업 비교 분석에 따르면 2026년 시점 추론 API 경쟁 구도는 "Groq는 절대 속도, Together AI는 모델 폭과 파인튜닝, Fireworks는 안정성" 3강으로 정리되며, Together는 200개 이상 모델·LoRA 파인튜닝·전용 엔드포인트를 한 콘솔에서 제공하는 점이 차별점으로 꼽힙니다.^[11] 사내 PoC에서 한국어 Llama 파생 모델을 빠르게 테스트하고 운영 단계에서 전용 엔드포인트로 옮기는 패턴이 자주 보고됩니다.^[11]

참고사항

api.together.ai에 가입해 API 키를 발급받고, 첫 무료 크레딧으로 결제 한도를 확인합니다.
OpenAI SDK의 base_url만 Together AI로 바꿔 Llama 3.3 70B에 "안녕"이라고 한 번 호출해 봅니다.
모델 라이브러리에서 Qwen·Llama 4·DeepSeek 후보를 골라 동일 프롬프트로 응답 품질·지연을 비교합니다.
운영 시나리오를 가정해 서버리스 단가, 전용 엔드포인트, 배치 추론 세 가지 비용을 표로 정리합니다.
100~500건짜리 자사 데이터셋으로 파인튜닝 콘솔에서 LoRA 학습을 한 차례 돌려, 베이스 모델과의 정확도 차이를 측정합니다.

오픈모델 호스팅 시장에서 Together AI는 모델 폭과 파인튜닝이 강점이지만, 절대 속도와 단일 모델 안정성에서는 경쟁사에 뒤처지는 구간이 보고됩니다. 산업 비교 분석에 따르면 2026년 시점 Llama 70B 기준 첫 토큰까지의 지연(TTFT)이 Together는 약 220ms로 Fireworks 150ms·Groq 65ms보다 길고, 처리량도 83~90 tok/s 수준으로 LPU 기반 Groq의 420 tok/s에 못 미칩니다.^[11] 또한 폐쇄형 GPT·Claude 대비 한국어 미세 튜닝 사례 공개량이 아직 적어, "한국어 운영 수준 검증은 사용자가 직접 해야 한다"는 점이 도입 진입 장벽으로 지적됩니다.

진화 방향은 인프라 확장과 자체 연구 양쪽에서 동시에 진행됩니다. 회사 공식 발표에 따르면 시리즈 B 이후 200MW 전력과 NVIDIA GB200 NVL72 36,000장 규모 클러스터를 Hypertec과 공동 구축하고, B200·H200 기반 Together GPU Clusters를 정식 출시했습니다.^[4] 연구 측면에서는 Tri Dao 수석과학자가 이끄는 FlashAttention·ATLAS·Together Kernel Collection이 학습·추론 효율을 끌어올리고 있으며, 2025년 9월 파인튜닝 플랫폼 업그레이드로 더 큰 모델·긴 컨텍스트 학습을 지원하기 시작했습니다.^[4] 2024년 말 CodeSandbox 인수로 코드 실행 환경, Cartesia 제휴로 저지연 음성 에이전트, AWS Marketplace 등재로 엔터프라이즈 도입 경로까지 확보하면서 플랫폼 외연을 단순한 추론 호스팅 너머로 확장하는 흐름이 뚜렷합니다.^[4] 결과적으로 Together AI는 "오픈모델을 빠르게 쓰는 곳"에서 "오픈모델로 자체 모델·자체 에이전트까지 만드는 곳"으로 포지션을 넓히고 있습니다.

이 용어와의 관계

유사 개념
Fireworks AI같은 모델·서비스 갈래에서 자주 함께 등장하는 개념입니다.
유사 개념
Groq같은 모델·서비스 갈래에서 자주 함께 등장하는 개념입니다.
유사 개념
Replicate같은 모델·서비스 갈래에서 자주 함께 등장하는 개념입니다.