Adaptive Reasoning

2024년 9월 12일 OpenAI는 o1 프리뷰를 공개하면서 "답하기 전에 생각하는 새로운 추론 모델 시리즈"라고 정의하고, 사고 사슬 길이를 모델이 스스로 조절한다고 명시했습니다^[1]. 같은 발표에서 o1은 미국 수학 올림피아드 예선(AIME) 정답률 83.3%로 직전 GPT-4o의 13.4%를 크게 웃돌았고, Codeforces에서는 상위 11% 분위에 도달했다고 보고됐습니다^[1]. OpenAI는 "추론에 더 많은 테스트 타임 컴퓨트를 쓸수록 성능이 일관되게 향상된다"는 새로운 스케일링 축을 공식적으로 인정했고, 이 발표 이후 "어댑티브 리저닝"이라는 용어가 업계 표준어로 자리잡았습니다^[1].

2025년 2월 24일 Anthropic은 Claude 3.7 Sonnet과 함께 Extended Thinking을 공개하면서 "Claude가 답하기 전 자기 사고를 보여 주고, 사용자가 thinking 토큰 예산을 설정해 깊이와 비용을 직접 조절할 수 있다"고 정의했습니다^[2]. 이후 Claude 4 시리즈 공식 문서는 budget_tokens 파라미터를 통해 한 번의 호출에서 모델이 쓸 수 있는 최대 사고 토큰을 1,024부터 수만 단위까지 지정할 수 있다고 명시했습니다^[2]. 같은 문서는 "어댑티브 모드를 켜면 Claude가 작업 복잡도를 평가해 사고량을 동적으로 결정하지만, 예측 가능한 지연 시간이 중요한 워크로드에서는 고정 예산이 여전히 유효하다"고 권고합니다^[2]. 사내 코딩 에이전트가 도구를 반복 호출하는 장시간 워크플로에 가장 먼저 적용되는 구간입니다.

2025년 8월 7일 GPT-5 출시와 함께 OpenAI는 Chat Completions·Responses API에 reasoning_effort 파라미터를 정식 도입했고, minimal·low·medium·high 네 단계로 호출 단위에서 추론량을 지정할 수 있다고 문서에 명시했습니다^[3]. OpenAI 공식 문서는 "minimal 효과는 추론 토큰 사용을 줄여 더 빠른 응답을 받게 해 준다"고 정리하면서, 같은 모델이라도 effort 설정에 따라 응답 지연과 비용이 크게 달라진다고 안내합니다^[3]. 2025년 11월 GPT-5.1 인스턴트·싱킹 발표에서는 "처음으로 인스턴트가 어려운 질문 앞에서만 생각 시간을 가지며 단순 질문에는 빠르게 응답한다"고 알리며 어댑티브 동작을 모델 기본 거동에까지 내장했습니다^[5]. 사내 챗봇·헬프데스크처럼 단순 FAQ와 복잡 분석이 섞인 워크플로우에 직접 들어가는 구간입니다.

2025년 7월 arXiv에 공개된 서베이 논문 "Reasoning on a Budget"은 대형 추론 모델이 단순 질의에 과잉 자원을 쓰고 복잡 질의에는 자원이 부족한 현상을 정리하면서, "주요 연구소들이 점차 fast-slow thinking 개념을 채택해 작업 복잡도에 따라 추론 깊이를 조절하고 있다"고 평가했습니다^[4]. 같은 해 10월 발표된 DiffAdapt 논문은 난이도 적응 방식이 8개 수학 추론 벤치마크에서 토큰을 최대 62% 줄이고 성능을 18% 개선했다고 보고했습니다^[6]. 사내 LLM 운영팀이 추론 토큰 청구액을 줄이려 할 때 인용할 수 있는 근거 자료로 자주 쓰입니다.