최고난도 문제를 푸는 클로드 페이블 5, 그 비결은?

Cursor의 역할과 Nate Schmidt의 임무

Cursor는 전문 소프트웨어를 구축하기 위한 AI 코딩 에이전트로, 모든 주요 프론티어 모델을 지원하며, 자체 모델도 포함하고 있습니다. 이로 인해 Cursor는 각 모델의 실제 성능을 평가하는 데 있어 독특한 중립성을 유지합니다. Nate Schmidt는 이러한 평가를 담당하는 엔지니어로, 모델의 성공과 실패를 분석하며, 개발자가 작업 중에 모델을 변경하는 이유를 연구합니다. 새로운 릴리스에 대한 평가가 필요할 때, 동료와 고객들은 그에게 문의합니다.

CursorBench의 개발과 Claude Fable 5의 성능

시간이 지나면서 Schmidt의 팀은 공개 벤치마크 점수와 실제 개발자들의 반응이 일치하지 않는다는 것을 발견했습니다. 이에 따라 그들은 CursorBench라는 자체 벤치마크를 개발했습니다. CursorBench는 엔지니어들이 실제로 모델을 사용하는 복잡하고 불명확한 방식을 포착하기 위해 설계되었습니다. 예를 들어, 하나의 평가 작업은 단순히 "fix"라는 단어와 함께 스택 트레이스를 붙여넣는 것이며, 모델은 의도를 추론하고, 근본 원인을 찾아내며, 변경 사항을 자체적으로 검증해야 합니다. Claude Fable 5는 이러한 평가에서 72.9%의 점수를 기록하며 새로운 기록을 세웠습니다.

Schmidt의 개인 테스트와 Claude Fable 5의 능력

Schmidt는 개인적인 엔지니어링 워크플로우와 테스트에서 Claude Fable 5를 사용했을 때, 목표를 반복할 필요가 없다는 것을 발견했습니다. 모델에게 문제를 맡기면, 복잡한 리팩터링이나 미묘한 엣지 케이스에 대한 추론을 포함한 문제를 해결할 수 있었습니다. Schmidt는 "Claude Fable 5를 부트스트랩하여 내가 존재하는 세계와 내가 해결하려는 문제를 이해할 필요가 없다"고 말합니다. 모델은 초기 설정 없이도 이를 이해하는 능력을 가지고 있습니다.

전체 미션에 대한 추론

CursorBench를 통해 새로운 모델을 테스트할 때, 정답을 찾는 것은 기본적인 요구 사항입니다. 중요한 것은 모델이 요청받은 내용을 이해했는지 여부입니다. Schmidt는 "많은 평가가 잘 정의된 문제와 제약 조건을 제공하고 이를 해결하라고 하지만, 실제 사용자가 주는 프롬프트는 그렇지 않다"고 설명합니다. 모델은 사용자가 문제를 가지고 있다는 것을 추론하고, 전달하려는 내용을 이해하며, 근본 원인을 찾아내고, 수정하며, 결과를 보고해야 합니다.

Claude Fable 5의 성과와 글로벌 최적화

Claude Fable 5는 이러한 모호한 작업에서 매우 높은 점수를 기록했으며, Cursor 팀은 모델이 매우 똑똑하거나, 아니면 속임수를 쓰고 있다고 의심했습니다. 팀은 모델의 실제 추론 과정을 조사했으며, 다른 모델들이 이전에 하지 못했던 방식으로 문제를 해결하는 것을 발견했습니다. Schmidt는 Claude Fable 5를 사용하여 우주 비행 시뮬레이터에서 로켓을 달에 착륙시키는 개인 테스트를 진행했습니다. 이전 모델인 Claude Opus는 실패했지만, Claude Fable 5는 몇 번의 시도 끝에 성공했습니다.

글로벌 최적화에 대한 접근

Schmidt는 Claude Fable 5를 사용할 때의 간단한 규칙을 세웠습니다. "A에서 B로 가는 경로를 잘 알고 있다면 Fable이 필요하지 않을 수 있습니다. 하지만 A에 있고 B가 어디인지 모른다면, Fable이 훌륭한 선택입니다." 그는 "무언가를 올바르게 구축하고 싶을 때, Fable이 첫 번째로 떠오르는 모델"이라고 말합니다. Claude Fable 5는 팀이 이전에 보류했던 프로젝트에 집중할 수 있게 해주었으며, 팀의 작업 방식도 변화시켰습니다.

미래의 계획

Cursor는 모델을 통해 성능 병목 현상과 사용자 불편 사항을 사전에 찾아내고, 더 정교하고 현실에 가까운 평가 환경을 구축하여 다음에 올 것을 측정하려고 합니다. Schmidt는 "Fable을 통해 접근할 수 없다고 생각했던 문제들을 해결할 수 있을 것"이라며 기대감을 나타냈습니다.

파이랩 정리