Groq 4장 카드뉴스

AI 인프라 분야에서 미국 Groq Inc.가 2016년에 창업해 자체 설계한 LPU 추론 칩으로, Llama·Mistral 같은 오픈 모델을 초고속으로 실행하는 클라우드 추론 서비스를 함께 운영합니다.

Groq는 ChatGPT 같은 거대 언어 모델이 답을 빠르게 내놓도록 도와주는 전용 칩(LPU)과 그 칩을 묶은 클라우드 서비스입니다. 같은 모델이라도 일반 GPU 서버보다 답이 몇 배 빠르게 떠올라서, 사용자가 '전송'을 누르고 1초도 안 돼 글이 완성되는 체감이에요. 시험 기간에 같은 강의 자료를 도서관 복사기 대신 인쇄소 윤전기로 한 번에 찍어내는 느낌이라고 보면 됩니다.

[5] 같은 모델을 일반 GPU 클라우드에서 돌리면 보통 초당 30~80토큰 수준이라, 사용자가 '전송' 버튼을 누르고 답이 다 떠오를 때까지 1초 안쪽으로 끝납니다. 회의 중 실시간 요약, 상담 챗봇처럼 응답 지연이 매출에 직결되는 워크로드에 적합합니다.