Fireworks AI 4장 카드뉴스

AI 인프라 분야에서 미국 Fireworks AI가 2022년에 창업해 운영하는 오픈모델 추론 서비스로, Llama·Mistral·Qwen 같은 모델을 자체 최적화 엔진으로 빠르고 저렴하게 호출할 수 있게 해줍니다.

Fireworks AI는 가중치가 공개된 AI 모델을 직접 GPU에 설치하지 않고 인터넷 주소(API)로 곧장 호출해 쓸 수 있게 해 주는 클라우드예요. 3 70B로 돌릴 수 있어요. PyTorch를 만들었던 팀이 차린 회사라 "오픈 모델을 자체 GPU보다 빠르고 싸게 돌려준다"가 강점으로 평가됩니다.

케이스 1: Cursor — Llama 3 70B 기반 Fast Apply, 코드 적용 속도 1,000 토큰/초 달성 회사 공식 고객 사례에 따르면 AI 코드 에디터 Cursor는 코드 제안을 한 번에 파일에 반영하는 "Fast Apply" 기능을 위해 Fireworks AI와 협력해 Llama 3 70B 기반 전용 모델을 학습시키고, 추측 디코딩(Speculative Decoding)…