클로드 페이블 5, 야간 업무 신뢰성 입증

클로드 페이블 5: 야간 업무 신뢰성 입증

Cognition의 연구 부사장인 Silas Alberti는 회사의 AI 소프트웨어 엔지니어 Devin에 거의 모든 클로드 모델을 테스트해왔습니다. 클로드 페이블 5는 그가 처음으로 밤새 작동하도록 신뢰할 수 있는 모델입니다.

Cognition과 Devin의 배경

Cognition은 실리콘 밸리 기준으로도 젊은 회사입니다. 이 회사는 2024년 초에 Devin이라는 자율 AI 소프트웨어 엔지니어를 개발했습니다. Devin은 코드베이스 마이그레이션, 버그 백로그, 계속 미뤄지는 기능 등 엔지니어들이 잘 다루지 않는 작업을 맡습니다. 고객은 고성장 스타트업부터 포춘 500대 기업까지 다양하며, Devin이 작성한 코드는 신뢰할 수 있고 실제 운영에 적합해야 합니다. 작은 버그라도 조용히 도입되면 큰 문제가 될 수 있습니다.

Alberti의 팀은 Devin의 모델을 훈련하고 테스트하며, 초기부터 거의 모든 클로드 모델을 사용해왔습니다. 2024년 말에 출시된 클로드 3.6 소넷은 도구를 체계적으로 연결하고 다단계 작업을 수행할 수 있는 첫 모델이었습니다. Devin에 이 모델을 적용했을 때 내부 사용량이 세 배로 증가했습니다. 이러한 역사 때문에 Alberti는 쉽게 감명을 받지 않습니다. Cognition은 모델이 벤치마크에서 우수한 성적을 거두고도 실제 사용에서는 실패하는 경우를 여러 번 경험했습니다. "우리는 이런 식으로 여러 번 실망했습니다,"라고 Alberti는 말합니다. 그래서 팀은 어떤 평가보다도 자체 엔지니어를 신뢰합니다. 최고 수준의 개발자들이 새로운 모델을 실제 작업에 적용해보고, 그 코드가 실제로 유지할 가치가 있는지를 판단합니다. Alberti는 "우리는 어떤 평가도 신뢰하지 않습니다"라고 설명합니다.

이전 모델의 한계

모든 발전에도 불구하고 하나의 한계가 있었습니다. 에이전트가 얼마나 오래 작업을 유지할 수 있는가 하는 점입니다. "페이블 이전에는 에이전트를 몇 분, 길어야 한 시간 정도만 작업에 몰두시킬 수 있었습니다,"라고 Alberti는 말합니다. 그 이후에는 세션이 흐트러졌습니다. 이전 모델에 다섯 가지 아이디어를 동시에 주면 혼란에 빠졌습니다. 한 데이터베이스 마이그레이션 작업에서 이전 오푸스 모델은 기술적으로 작업을 완료했지만, 미묘한 버그를 일으켰습니다. 사고 조사에서는 로그의 표면만을 다루고, 무조건 답을 주도록 훈련되어 있어서 "처음 발견한 그럴듯한 것을 자신 있게 주장하고 멈추는" 경향이 있었습니다. 엔지니어들은 이를 무시하는 법을 배웠습니다.

클로드 페이블 5의 성능

Cognition은 프론티어 코드와 같은 벤치마크를 통해 모델을 평가합니다. 클로드 페이블 5는 Cognition의 자체 기준을 통과했습니다. Alberti는 이를 "안티 슬롭" 기준이라고 부릅니다. 가장 어려운 부분에서 이전 오푸스 모델은 약 10%의 점수를 받았고, 클로드 페이블 5는 약 30%를 기록했습니다. 팀의 첫 반응은 의심이었습니다. "버그가 있는 건가? 이럴 리가 없어." 보통 벤치마크 점수가 오르면 모델이 실제로 더 나은지에 대해 엔지니어들이 몇 주간 논쟁합니다. 이번에는 내부 테스트 결과가 숫자와 일치했습니다. "솔직히 충격적이었습니다,"라고 Alberti는 말합니다. "가장 큰 변화는 지속 가능성입니다. 잠자리에 들기 전에 '계속 작업하고 내가 깰 때까지 멈추지 말아줘'라고 부탁했는데, 8시간 동안 작업을 계속하고 실제로 진전을 보였습니다. 이전에는 본 적이 없는 일이었습니다."

클로드 페이블 5는 복잡한 상황에서도 명확한 판단을 유지했습니다. Cognition의 내부 디버깅 도구를 제대로 사용한 첫 모델로, 로그를 통해 결론을 도출했습니다. 이전 모델들이 실패했던 마이그레이션 작업에서도 자신이 지킬 불변 조건을 명시하고 이를 실행했습니다. 문제 해결에서는 근본 원인을 찾아내고 모르는 부분을 밝혔습니다. Alberti는 이를 신뢰를 회복하는 요소로 봅니다. 그는 이 변화를 진정한 단계적 변화로 보고 있습니다.

미래 전망

Cognition의 창립 목표는 에이전트가 클라우드에서 몇 시간 동안 작동할 수 있도록 하는 것이었습니다. 회사의 첫 해에는 모델이 준비되지 않았지만, 클로드 페이블 5는 그 목표를 실현 가능하게 만들었습니다. 일부는 이미 제품에 반영되었습니다. Devin은 슬랙 채널을 모니터링하고 태그 없이 문제에 뛰어들거나, 운영을 감시하고 스파이크를 자체적으로 해결할 수 있습니다. Alberti는 이러한 기능이 엔지니어링 팀의 기본이 될 것으로 기대합니다. 1~2년 내에 에이전트 세션의 90%가 문제를 찾아내고 코드베이스를 스캔하며 해결책을 메시지로 전달하는 방식이 될 것입니다. "우리가 항상 만들고 싶었던 많은 것들이 이제 가능해졌습니다,"라고 Alberti는 말합니다.