AI for Everyone
AI 트렌드

테스트 타임 컴퓨트

Test-Time Compute

AI 트렌드 분야에서 쓰이는 용어로, 모델을 더 크게 학습시키는 대신 답을 내는 추론 시점에 연산을 더 써서 성능을 끌어올리는 방식입니다. 모델이 답하기 전에 사고 사슬을 길게 돌리거나 여러 후보를 만들어 검증하는 식으로 추론 연산을 늘립니다. OpenAI는 o1이 학습 시점 연산뿐 아니라 생각하는 시간을 늘릴수록 성능이 꾸준히 좋아졌다고 밝혔습니다. 다만 효과는 문제 난이도에 따라 달라서, 모든 문제에서 똑같이 이득이 나지는 않습니다.

쉽게 말하면?

테스트 타임 컴퓨트는 AI가 답하기 전에 더 오래 생각하게 만드는 방식이에요. 지금까지는 모델을 더 크게 학습시켜 실력을 올렸는데, 이 방식은 이미 학습된 모델이 문제를 풀 때 계산을 더 쓰게 합니다. 시험장에서 바로 답을 적는 대신, 풀이 과정을 길게 적고 검산까지 하면 정답률이 오르는 것과 비슷해요. 특히 어려운 문제일수록 이렇게 생각을 늘렸을 때 이득이 큽니다. OpenAI o1처럼 답하기 전에 사고 사슬을 길게 돌리는 추론 모델이 이 방식을 대표합니다.

한 줄로 비유하면?

납기를 늘려 검산을 더 시키면 보고서 오류가 줄어드는 것과 같습니다.

어디에 쓰이나?

케이스 1OpenAI — o1, 생각하는 시간을 늘린 추론 모델

OpenAI는 2024년 9월 추론 모델 o1을 공개했습니다 [2]. 강화학습으로 사고 사슬을 학습해 답하기 전에 더 생각하도록 만들었습니다 [2]. 공식 발표는 학습 연산과 생각 시간을 늘릴수록 성능이 꾸준히 올랐다고 밝혔습니다 [2]. 추론 시점 연산을 늘리는 방식이 실제 성능으로 이어짐을 보인 사례입니다.
도입효과: 수학 경시 AIME 2024 단일 시도 정답률 74%, 64개 표본 합의 시 83% (GPT-4o 대비 대폭 상승) [2]

케이스 2Google DeepMind·UC 버클리 — 추론 연산 최적 배분 연구

Snell 등은 2024년 8월 추론 시점 연산 확장을 분석한 논문을 공개했습니다 [1]. 문제 난이도에 따라 연산을 배분하는 계산 최적 전략을 제안했습니다 [1]. 같은 연산량 기준으로 작은 모델에 추론 연산을 더 쓰면 훨씬 큰 모델을 능가할 수 있음을 보였습니다 [1]. 학습 대신 추론에 연산을 쓰는 선택의 근거를 제시한 연구입니다.
도입효과: 추론 연산 효율 기준선 대비 4배 이상 개선, FLOPs 동일 비교에서 14배 큰 모델 능가 (논문 보고) [1]

케이스 3DeepSeek — R1, 순수 강화학습으로 사고 획득

DeepSeek는 2025년 1월 추론 모델 R1을 공개했습니다 [3]. R1-Zero는 지도학습 없이 강화학습만으로 긴 사고 사슬을 스스로 익혔습니다 [3]. 논문 초판은 R1이 추론 과제에서 OpenAI o1-1217에 필적한다고 보고했습니다 [3]. 추론 시점 연산 방식이 오픈 모델로도 재현됨을 보인 사례입니다.
도입효과: AIME 2024 단일 시도 정답률 79.8%, MATH-500 97.3% (DeepSeek-R1, 논문 초판 기준) [3]

케이스 4LG AI연구원 — EXAONE Deep 추론 모델 [한국]

LG AI연구원은 2025년 3월 추론 특화 모델군 EXAONE Deep을 공개했습니다 [4]. 기술 보고서는 32B·7.8B·2.4B 세 크기를 제시했습니다 [4]. 7.8B는 비슷한 규모의 오픈 모델과 OpenAI o1-mini를 앞선다고 보고했습니다 [4]. 추론 시점 연산 방식을 국내 모델로 구현한 사례입니다.
도입효과: EXAONE Deep 32B AIME 2024 정답률 72.1, MATH-500 95.7, 2025 수능 수학 94.5 (pass@1, 기술 보고서) [4]

주의할 점은?

오늘 바로 해보기
01. 같은 어려운 질문을 일반 모델과 추론 모델에 각각 던져 답과 풀이를 비교합니다.
02. 추론 모델의 답에서 풀이 과정이 얼마나 길어지는지, 토큰이 얼마나 늘어나는지 살펴봅니다.
03. OpenAI o1 공식 발표에서 생각 시간과 성능의 관계를 확인합니다 [2].
04. 자사 업무 중 정답률이 중요한 과제와 속도가 중요한 과제를 나눠 적습니다.
05. 추론 연산을 늘릴 때 비용과 지연이 얼마나 붙는지 견적을 잡아 봅니다 [1].

추론 연산을 늘린다고 늘 좋아지지는 않습니다. Apple은 2025년 연구에서 난도가 일정 수준을 넘으면 추론 모델의 정확도가 완전히 무너진다고 보고했습니다 [5]. 사고 노력이 어느 지점까지 늘다가, 토큰 여유가 있는데도 오히려 줄어드는 현상도 관찰했습니다 [5]. 효과가 문제 난이도에 크게 좌우된다는 점도 한계입니다 [1]. 쉬운 문제에서는 추론 연산을 늘려도 이득이 작습니다 [1]. 추론 연산을 늘리는 만큼 비용과 지연이 붙어, 학습 연산과 추론 연산 사이의 배분 문제도 남습니다 [1]. 답이 빨라야 하는 실시간 서비스에는 긴 사고 과정이 오히려 부담이 됩니다 [2]. Apple 연구는 아주 쉬운 문제에서는 오히려 일반 모델이 추론 모델보다 나을 때도 있다고 보고했습니다 [5]. 즉 추론 연산은 사전학습을 완전히 대체하기보다 보완하는 수단에 가깝습니다 [1].

진화 방향은 두 갈래입니다.

  1. 문제마다 연산을 최적 배분하는 난이도 적응형 전략입니다 [1]. Snell 등은 프롬프트별로 추론 연산을 가장 효과적으로 나누는 계산 최적 전략을 제안했고, 같은 연산에서 기준선 대비 효율을 4배 이상 끌어올렸습니다 [1].
  2. 추론 모델의 빠른 확산과 오픈화입니다 [3]. OpenAI o1에서 시작해 DeepSeek-R1과 LG EXAONE Deep으로 이어지며 강화학습과 추론 연산을 결합한 방식이 표준으로 번지고 있습니다 [3][4]. 특히 LG AI연구원 EXAONE Deep은 32B 모델로 2025 수능 수학 94.5점을 보고하며 국내 추론 모델의 수준을 보여줬습니다 [4]. OpenAI o1은 수학 경시 AIME와 코딩 대회에서 추론 연산을 늘려 큰 폭의 성능 향상을 보고했고, DeepSeek는 R1을 오픈으로 공개해 이 방식이 빠르게 퍼지는 계기를 만들었습니다 [2][3]. 현재 시점에서는 정답률이 중요한 과제에 추론 모델을 골라 쓰는 구성이 늘고 있습니다.

참고 자료

  1. Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters — 학술 논문·arXiv(Snell 등, DeepMind/UC Berkeley)·2024 — https://arxiv.org/abs/2408.03314
  2. Learning to reason with LLMs — 공식 발표·OpenAI·2024 — https://openai.com/index/learning-to-reason-with-llms/
  3. DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning — 학술 논문·arXiv(DeepSeek, 초판 v1)·2025 — https://arxiv.org/abs/2501.12948v1
  4. EXAONE Deep: Reasoning Enhanced Language Models — 기술 보고서·arXiv(LG AI Research)·2025 — https://arxiv.org/abs/2503.12524
  5. The Illusion of Thinking — 공식 연구·Apple Machine Learning Research·2025 — https://machinelearning.apple.com/research/illusion-of-thinking

대표 출처

OpenAI·Google DeepMind·DeepSeek·LG AI연구원 공식 (2024~2025) — 추론 연산 확장·추론 모델
카드뉴스로 공유하기 다른 AI 용어 보기