카르파티의 펠리칸 프로젝트, AI 연구의 새 지평 열다

카르파티의 펠리칸 프로젝트: AI 연구의 새로운 지평

Andrej Karpathy는 최근 트위터를 통해 AI 연구의 흥미로운 실험을 공유했습니다. 그는 대형 언어 모델(LLM)을 테스트하는 전통적인 방법을 넘어서기 시작했다고 밝혔습니다. 예를 들어, "자전거를 탄 펠리칸의 SVG를 만들어라"라는 식의 테스트를 넘어서는 것입니다. 카르파티는 Opus 5라는 모델에 '반지의 제왕' 첫 단락을 입력하고, 100만 토큰의 예산(약 10달러)을 사용하여 이를 3D로 렌더링하는 코드를 작성하도록 요청했습니다.

Opus 5는 약 2시간 동안 작업을 진행하며, 5,500줄의 코드를 작성했습니다. 이 코드는 이야기의 내용을 절차적으로 렌더링하는 것이었으며, 다소 엉성하지만 재미있는 결과를 보여주었습니다. LLM이 다양한 폴리곤 자산을 (x, y, z) 좌표에 배치하고, 이를 모두 애니메이션화하는 코드를 작성해야 한다는 점에서 놀라운 성과였습니다.

카르파티는 이러한 예시를 좋아한다고 말했습니다. 왜냐하면, 일반적으로 아무도 이런 맞춤형 작업에 시간을 투자하지 않겠지만, LLM은 무한한 인내심과 체력을 가지고 있기 때문입니다. 이는 "아무도 하지 않을 일"에서 "왜 안 되지? 거의 무료인데"로 전환되는 사례입니다. 그는 이러한 맞춤형 세계를 창조하는 것에 흥미를 느낀다고 덧붙였습니다. 예를 들어, 플레이어가 '반지의 제왕' 이야기 속에 관객 NPC나 캐릭터로 참여할 수 있는 세계를 만드는 것입니다. 이는 수요에 따라 생성되는 일종의 임시적인 GTA와 같은 것입니다.

마지막으로, 카르파티는 세계나 게임의 도메인이 LLM의 약점을 드러낸다고 언급했습니다. LLM은 비디오를 효율적으로 인식하거나 게임을 플레이할 수 없기 때문에 자신의 작업을 쉽게 검토할 수 없습니다. Opus 5는 다양한 지점에서 스크린샷을 천천히 찍어야 했고, 몇 번의 실수를 통해 엉성한 결과물을 만들었습니다. 이는 멀티모달, 게임플레이와 같은 원시적인 능력이 여전히 부족하다는 예시입니다.