Fireworks AI 4장 카드뉴스

AI 인프라 분야에서 미국 Fireworks AI가 2022년에 창업해 운영하는 오픈모델 추론 서비스로, Llama·Mistral·Qwen 같은 모델을 자체 최적화 엔진으로 빠르고 저렴하게 호출할 수 있게 해줍니다.

Fireworks AI는 가중치가 공개된 AI 모델을 직접 GPU에 설치하지 않고 인터넷 주소(API)로 곧장 호출해 쓸 수 있게 해 주는 클라우드예요. 조별 과제로 챗봇을 만들려면 보통 GPU 서버를 빌리고 모델 파일을 내려받고 환경을 맞추느라 며칠을 쓰는데, Fireworks AI는 OpenAI SDK의 주소만 바꿔 끼우면 같은 코드를 곧바로 Llama 3.3 70B로 돌릴 수 있어요. PyTorch를 만들었던 팀이 차린 회사라 "오픈 모델을 자체 GPU보다 빠르고 싸게 돌려준다"가 강점으로 평가됩니다.

**케이스 1: Cursor — Llama 3 70B 기반 Fast Apply, 코드 적용 속도 1,000 토큰/초 달성** 회사 공식 고객 사례에 따르면 AI 코드 에디터 Cursor는 코드 제안을 한 번에 파일에 반영하는 "Fast Apply" 기능을 위해 Fireworks AI와 협력해 Llama 3 70B 기반 전용 모델을 학습시키고, 추측 디코딩(Speculative Decoding