GPT-5.5 성능 저하 원인? 클러스터링 문제

문제 개요

GPT-5.5 Codex 모델에서 특정 토큰 수(516, 1034, 1552)에서의 클러스터링이 복잡한 작업에서 성능 저하를 초래할 수 있다는 문제가 제기되었습니다. 이 문제는 Codex의 토큰 수 메타데이터를 분석한 결과 발견되었으며, 특히 516개의 추론 출력 토큰에서 응답이 집중되는 경향이 있습니다. 이는 모델 특유의 현상으로, 복잡하거나 중요한 Codex 작업에서 성능 저하를 설명할 수 있습니다.

환경 및 데이터

제품: Codex
주요 모델: GPT-5.5
데이터 소스: Codex 토큰 수 메타데이터
분석 기간: 2026년 2월 1일 ~ 6월 27일
관련 이슈: #29353 (GPT-5.5가 516개의 추론 토큰에서 잘못된 답변을 반환하는 문제)

증거 및 통계

응답 수준 토큰 기록 분석: 390,195
세션 수: 865
정확히 516개의 추론 출력 토큰 이벤트: 3,363
GPT-5.5의 전체 응답 비율: 19.3%
GPT-5.5의 정확히 516 이벤트 비율: 82.0%
GPT-5.5의 정확히 516 / 516 이상 비율: 44.0%
비 GPT-5.5의 정확히 516 / 516 이상 비율: 1.3%

모델별 결과

GPT-5.5: 75,401 응답 기록, 44.0% 비율
GPT-5.4: 25,214 응답 기록, 19.8% 비율
GPT-5.2: 247,575 응답 기록, 0.34% 비율
GPT-5.3-codex: 13,333 응답 기록, 0.0% 비율
GPT-5.3-codex-spark: 26,179 응답 기록, 0.0% 비율

월별 정확히 516 클러스터링 증가

2026년 2월: 0.11%
2026년 3월: 2.45%
2026년 4월: 4.25%
2026년 5월: 53.30%
2026년 6월: 35.84%

전반적인 추론 토큰 강도 감소

2026년 2월: 평균 268.1, P90 772
2026년 3월: 평균 256.8, P90 723
2026년 4월: 평균 228.7, P90 669
2026년 5월: 평균 106.9, P90 344
2026년 6월: 평균 168.5, P90 515

의심스러운 점

이상 현상은 단순히 높은 추론 토큰 사용량 때문이 아닙니다. 2월부터 4월까지 평균 및 P90 추론 토큰 강도는 감소했지만, 정확히 516 클러스터링은 급격히 증가했습니다. 또한, 이 클러스터링은 모델 전반에 걸쳐 균등하게 분포되지 않았습니다. GPT-5.5는 전체 응답의 19.3%만 차지하지만, 정확히 516 이벤트의 82.0%를 차지합니다. 이는 비 GPT-5.5 기준보다 약 33.6배 높은 비율입니다. 고정된 값인 516, 1034, 1552는 자연스러운 추론 토큰 분포보다는 반복적인 임계값 경계처럼 보입니다.

기대되는 동작

복잡한 Codex 작업에 대한 추론 토큰 수는 작업의 복잡성에 따라 자연스럽게 변동해야 하며, 특정 모델군에 대해 고정된 값에 불균형적으로 클러스터링되어서는 안 됩니다.

실제 동작

GPT-5.5 응답은 정확히 516개의 추론 토큰에 집중적으로 클러스터링되며, 1034 및 1552 주변에서도 관련 스파이크가 나타납니다. 이 패턴은 다른 여러 모델에서는 훨씬 약하거나 나타나지 않습니다.

요청사항

Codex 팀이 GPT-5.5가 516/1034/1552 추론 토큰 주변에서 응답이 종료되는 이유가 추론 예산, 라우팅, 잘림, 폴백, 스케줄러 동작 때문인지 조사해 주실 수 있습니까? 만약 이것이 예상된 동작이라면, 정확히 516이 정상적인 종료 지점인지, 예산 한도인지, 성능 저하된 계층인지, 또는 다른 내부 임계값인지 알 수 있으면 유용할 것입니다.

유용한 내부 검증 체크

모델별로 추론 출력 토큰에 대한 토큰 수 이벤트 쿼리
0, 516, 1034, 1552의 정확한 값 수 비교
모델 및 일별로 count(reasoning_output_tokens = 516) / count(reasoning_output_tokens >= 516) 계산
GPT-5.5를 GPT-5.2, GPT-5.4 및 Codex 특정 변형과 비교
특히 정확히 516 응답을 더 긴 추론 응답과 분리하여 GPT-5.2 및 GPT-5.5에서 일치하는 복잡한 작업을 재생하고 품질 평가

파이랩 정리