GPT-6.1 Sol에는 다섯 가지 추론 강도 수준이 있습니다: low, medium(기본값), high, xhigh, max. GPT-6 Sol과 가장 큰 차이는 none과 minimal이 사라졌다는 점이며, 따라서 low가 이제 최소 수준입니다.
이 설정 하나가 지연 시간과 비용을 모두 좌우합니다. 추론 토큰은 직접 보이지 않지만 출력 요금으로 과금되며(AIHubMix 기준 6.1 Sol은 100만 토큰당 $10), 컨텍스트 윈도우 공간도 차지합니다. 수준을 잘못 고르면 필요한 것보다 몇 배 많은 비용을 쉽게 낼 수 있습니다.
각 수준의 용도
아래 표는 OpenAI의 추론 가이드 설명에 저희의 권장 사항을 더한 것입니다:
| 수준 | OpenAI 설명 | 적합한 용도 | 부적합한 용도 |
|---|---|---|---|
| low | 지연 시간이 조금 늘어나는 대신 효율적인 추론 | 도구 루프의 중간 단계, 검색, 가벼운 계획 수립, 분류, 추출, 고객 지원 응답 | 까다로운 디버깅, 여러 파일에 걸친 리팩터링 |
| medium (기본값) | 대부분의 작업 부하에 맞는 균형 잡힌 기본값 | 일상적인 코딩, 코드 리뷰, 글쓰기, 일반적인 에이전트 작업 | 지연 시간에 민감한 대화형 사용 |
| high | 어려운 추론, 복잡한 디버깅, 심층 계획 수립 | 까다로운 버그, 아키텍처 작업, SWE 스타일 작업 | QPS가 높은 온라인 트래픽 |
| xhigh | 심층 리서치, 비동기 작업, 장시간 에이전트 실행 | 백그라운드 작업, 리서치 보고서 | 평가(eval)로 효과가 입증되지 않은 모든 작업 |
| max | 가장 어려운 작업을 위한 최대 추론 | 컴퓨터 사용, 연구 수준의 문제, 오프라인 대용량 작업 | 일상적인 요청 대부분 |
OpenAI는 강도를 "품질을 회복하는 주된 방법이 아니라 조정 손잡이"라고 부릅니다. 결과가 나쁘면 먼저 프롬프트, 도구 정의, 컨텍스트를 살펴보세요. 그 다음에야 강도를 올리세요.
각 수준에 대한 벤치마크 결과
아래 수치는 Vellum과 DataCamp가 정리한 OpenAI 자체 수치입니다. 절대적인 기준이 아니라 참고용으로 보세요.
코딩에서는 대개 high면 충분합니다. DeepSWE v1.1에서 high 설정의 6.1 Sol은 75.2점을 기록해, high 설정의 Astra(74.8점)와 맞먹었고, 작업당 약 $1.50이 들었습니다. 비용 곡선상 작업당 $0.50에서 $1.50 사이에서 72%에서 75%에 도달합니다. GPT-6 Sol은 max에서 68.8점을 기록했고 작업당 약 $2.60이 들었습니다.
medium보다 높인다고 항상 좋아지는 것은 아닙니다. AutomationBench에서 6.1 Sol은 medium에서 35.4%를 기록했고, 더 높은 강도에서도 약 36.0%에 그쳤습니다. 비즈니스 자동화에서는 추가된 추론 토큰이 거의 효과를 내지 못했습니다.
max는 컴퓨터 사용과 리서치에만 아껴 쓰세요. OSWorld 2.0에서 max는 작업당 약 $1.30으로 71.4점을 얻었습니다. Terminal-Bench Science에서 max는 작업당 $5.47이 들어, Astra의 $23.80보다는 훨씬 저렴하지만 대부분의 다른 작업 부하보다는 한 자릿수 이상 비쌉니다.
low도 좋아졌습니다. low의 사실 오류율은 6 Sol의 11.4%에서 7.7%로 떨어졌습니다. low의 정확도가 부족해서 6 Sol에서 작업을 medium으로 올렸었다면, 다시 low로 시도해 보세요.
사용 사례별 시작점
| 사용 사례 | 시작 수준 | 참고 사항 |
|---|---|---|
| 6 Sol에서 none을 사용하던 호출 | low | OpenAI의 공식 대응 관계입니다. 지연 시간이 중요하다면 여전히 none을 지원하는 GPT-6 Luna를 고려해 보세요 |
| minimal을 사용하던 호출 | low | low에서 시작해 결과를 비교하세요 |
| 챗봇, 고객 지원 | low | 첫 토큰을 더 빨리 받으려면 모델에게 한 줄짜리 서두를 요청하세요 |
| RAG 질의응답 | low → medium | 추론 강도보다 검색 품질이 더 중요합니다 |
| IDE 코딩 어시스턴트 | medium | 기본값으로 충분합니다 |
| 자동 버그 수정, SWE 에이전트 | high | DeepSWE에서 high만으로도 Astra와 맞먹는 것으로 나타났습니다 |
| 컴퓨터 사용, 브라우저 에이전트 | high → max | OSWorld는 max에서 최고점을 기록합니다 |
| 백그라운드 리서치, 장시간 실행 작업 | xhigh | 평가에서 효과가 확인될 때만 사용하세요. 결과를 바로 받을 필요가 없다면 Batch로 비용을 절반으로 줄일 수 있습니다 |
| 가장 어려운 리서치 문제 | max를 쓰거나 Astra를 사용하세요 | 여기서도 OpenAI는 Astra를 권장합니다 |
none과 minimal의 대응 관계는 OpenAI의 GPT-6 마이그레이션 가이드에서 가져왔습니다.
대화 도중 추론 강도 변경하기
흔한 패턴은 high로 계획하고, low로 실행하며, 문제가 생기면 다시 high로 전환하는 것입니다.
주의할 점: 요청의 reasoning.effort를 수정하면 프롬프트 캐시가 깨집니다. 강도는 캐시되는 접두사의 일부입니다(프롬프트 캐싱 가이드 참고). 6.1 Sol에서 캐시 읽기는 100만 토큰당 $0.10이지만, 캐시를 다시 쓰면 $2.50이 듭니다. 25배 차이입니다.
GPT-6 제품군은 configuration_update 입력 항목으로 이 문제를 해결합니다. 요청 수준의 reasoning.effort는 그대로 두고 다음 사용자 메시지 앞에 업데이트를 삽입하세요. AIHubMix Responses API에서 이를 구현하는 방식은 다음과 같습니다:
from openai import OpenAI
import os
client = OpenAI(
api_key=os.environ["AIHUBMIX_API_KEY"],
base_url="https://aihubmix.com/v1",
)
# Turn 1: plan at high effort
r1 = client.responses.create(
model="gpt-6.1-sol",
reasoning={"effort": "high"},
input="Figure out why this repo's tests are failing and propose a fix plan.",
)
# Turn 2: drop to low for execution, without touching request-level effort
r2 = client.responses.create(
model="gpt-6.1-sol",
reasoning={"effort": "high"}, # unchanged, so the cache survives
previous_response_id=r1.id,
input=[
{"type": "configuration_update", "reasoning": {"effort": "low"}},
{"role": "user", "content": "Carry out step 1 of the plan."},
],
)
configuration_update의 형태는 예시일 뿐입니다. 정확한 스키마는 OpenAI 추론 가이드에서 확인하세요. AIHubMix Responses 문서에는 현재 네 가지 수준(minimal부터 high까지)만 나와 있으므로, 작은 테스트 요청을 보내xhigh,max,configuration_update가 그대로 전달되는지 확인하세요.
알아둘 제한 사항은 다음과 같습니다:
- 표준 단일 에이전트 모드에서만 작동하며, 강도만 변경할 수 있습니다.
- 업데이트 두 개를 연달아 둘 수는 없습니다.
- 자동 압축 또는 잘라내기와는 함께 사용할 수 없습니다. 명시적 압축은 괜찮지만, 그 뒤에 새 업데이트를 추가하세요.
- 응답의
reasoning.effort필드에는 여전히 요청 수준의 값이 표시되므로, 이 값을 지나치게 신뢰하지 마세요.
추론 강도와 함께 설정할 항목
max_output_tokens에 여유를 남겨 두세요. 이 상한에는 추론 토큰도 포함됩니다. 너무 낮게 설정하면 모델이 보이는 텍스트를 하나도 만들기 전에 멈출 수 있습니다. 그러면 status: incomplete가 반환되는데도 입력과 추론 비용은 그대로 청구됩니다. OpenAI는 처음에는 최소 25,000 토큰을 예약하고, xhigh나 max에서는 더 많이 예약하라고 권장합니다.
추론 토큰을 추적하세요. usage.output_tokens_details.reasoning_tokens에 기록됩니다. 강도 수준별 분포를 보는 것이 감으로 조정하는 것보다 낫습니다.
가시성이 필요하면 요약을 켜세요. reasoning.summary: "auto"를 설정하면 모델 추론의 요약을 반환합니다(먼저 조직 인증이 필요할 수 있습니다). 원시 추론 과정은 절대 노출되지 않습니다.
Pro 모드는 별도의 스위치입니다. 모델이 더 많은 작업을 수행하도록 하며, 요금은 표준 요율로 청구되지만 전체 토큰 수는 늘어납니다. 추가 지연 시간을 감수할 수 있는 어려운 문제에 사용하세요.
실제로 실행할 수 있는 조정 절차
- 실제 작업 20~50개를 모아 평가 세트를 만드세요.
medium으로 기준선을 측정하세요. 성공률, 평균 추론 토큰 수, P95 지연 시간을 기록하세요.low을 시도하세요. 성공률이 거의 떨어지지 않으면 전환하세요.high를 시도하세요. 성공률이 뚜렷하게 올라가면 해당 작업 유형에만 high를 사용하세요.- high로도 부족할 때만
xhigh나max를 고려하고, 이때 GPT-6 Astra를 high로 설정한 결과와도 비교하세요. 때로는 더 큰 모델이 추론 강도를 높이는 것보다 낫습니다. AIHubMix에서는model매개변수만 바꾸면 되며, 사용 가능한 모델은 모델 목록에서 확인할 수 있습니다. - 전역 설정 하나를 쓰지 말고, 작업 유형에 따라 라우팅하세요.
핵심 요약: medium에서 시작하고, low로 비용을 절약하며, 코딩에는 high를 사용하고, xhigh와 max는 평가에서 효과를 입증하도록 하세요.
다음 글에서는 캐싱, 긴 컨텍스트, 청구 배수가 적용되었을 때 $2 / $10이라는 가격표가 실제로 무엇을 의미하는지 다룹니다.
FAQ
GPT-6.1 Sol의 기본 추론 강도는 무엇인가요? medium입니다. 따로 설정하지 않으면 이 값이 적용됩니다.
none을 설정하면 왜 오류가 나나요? 6.1 Sol은 none과 minimal을 지원하지 않습니다. OpenAI는 low로 전환하라고 권장합니다. 꼭 none이 필요하다면 GPT-6 Sol이나 GPT-6 Luna를 사용하세요.
추론 토큰은 어떻게 청구되나요? 출력 요금으로 청구되며(6.1 Sol 기준 100만 토큰당 $10), 컨텍스트 윈도우에도 포함됩니다. 실제 수치는 usage.output_tokens_details.reasoning_tokens에서 확인하세요.
Chat Completions와 Responses의 매개변수 이름은 같나요? 아니요. Chat Completions는 최상위 reasoning_effort를 사용합니다. Responses는 중첩된 reasoning: {"effort": ...}를 사용합니다. 둘을 혼동하면 Unsupported parameter 오류가 반환됩니다.
추론 강도를 높이면 항상 더 좋은 결과가 나오나요? 아니요. AutomationBench에서 medium보다 높였을 때 점수는 35.4%에서 약 36.0%로만 올랐고, 비용은 눈에 띄게 늘었습니다. 자신의 작업으로 직접 테스트해 보세요.
대화 도중에 추론 강도를 바꿀 수 있나요? 가능합니다. configuration_update 항목을 사용하고, 프롬프트 캐시가 유효하도록 요청 수준의 reasoning.effort는 그대로 두세요. 자동 압축이나 잘라내기와는 함께 작동하지 않습니다.
출력 없이 status: incomplete가 나온 이유는 무엇인가요? 대부분 max_output_tokens가 너무 낮게 설정되어 추론이 그 한도를 모두 써버렸기 때문입니다. OpenAI는 최소 25,000 토큰을 예약하라고 권장합니다.
이어서 읽기: GPT-6.1 Sol 시리즈
- 청구 금액에서 추론이 차지하는 비중은 얼마인가요? 추론 강도는 여러 요인 중 하나일 뿐입니다. 캐싱, 272K 임계값, Batch 할인이 최종 금액을 결정합니다. GPT-6.1 Sol의 실제 비용: $2 / $10 가격표 너머를 참고하세요.
none을 사용하던 코드라면?low로 바꾸는 것은 시작에 불과합니다. 도구 호출, 샘플링 매개변수, 캐시 설정도 바꿔야 합니다: GPT-6.1 Sol로 마이그레이션할 때 잘못될 수 있는 9가지.- 6.1 Sol은 6 Sol과 Astra보다 얼마나 더 좋나요? 사양과 벤치마크를 나란히 비교한 내용은 GPT-6.1 Sol vs GPT-6 Sol: Astra에 거의 근접한 일주일짜리 업그레이드에 있습니다.
