OpenAI, Broadcom과 협력한 첫 맞춤형 칩 공개

수요일, OpenAI는 Broadcom과 협력하여 설계 및 제조한 첫 번째 맞춤형 추론 프로세서인 'Jalapeño'를 공개했습니다. 이 새로운 프로세서는 OpenAI의 추론 시스템의 독특한 요구를 충족시키기 위해 특별히 설계되었습니다. OpenAI는 자사의 AI 모델이 칩 개발에 도움을 주었다고 밝혔습니다. 칩은 아직 테스트 중이지만, 초기 결과는 현재 최첨단 대안보다 훨씬 나은 전력당 성능을 보여주고 있다고 합니다. 이 파트너십은 공식적으로 10월에 발표되었지만, OpenAI의 칩 계획은 Nvidia의 GPU 의존도를 줄이기 위한 방법으로 오랫동안 소문이 돌았습니다. Google과 Amazon도 유사한 목적을 위해 맞춤형 칩을 제작했으며, 이는 종종 "AI 가속기"라고 불리며, 머신러닝 작업을 가속화하기 위해 특별히 설계된 실리콘입니다.

OpenAI의 사장 Greg Brockman은 Broadcom과의 파트너십 발표 직후 자사 팟캐스트에서 칩 개발에 대한 회사의 접근 방식을 설명했습니다. Brockman은 "우리는 워크로드에 대한 깊은 이해를 가지고 있다"며, "정말로 서비스가 부족한 특정 워크로드를 찾고 있으며, 어떻게 하면 가능한 것을 가속화할 수 있는 무언가를 만들 수 있을지 고민하고 있다"고 말했습니다.

Jalapeño는 사용자 명령에 따라 미리 구축된 AI 모델을 실행하는 과정인 추론을 위해 특별히 설계되었습니다. 발표에서 OpenAI는 실시간 코딩 모델을 실행할 때 칩의 낮은 운영 비용을 강조했습니다. 더 성능이 요구되는 작업, 예를 들어 사전 훈련은 여전히 Nvidia 하드웨어에 의존할 가능성이 높지만, 추론 비용의 작은 감소만으로도 회사의 수익 개선에 큰 도움이 될 수 있습니다. 추론 시스템 최적화는 AI 경제의 중요한 요소가 될 수 있으며, 이는 스택의 모든 수준에서 이루어질 가능성이 큽니다.

OpenAI는 이미 Codex와 같은 에이전트 제품과 이를 지원하는 모델, 그리고 이러한 모델을 운영할 데이터 센터를 구축하고 있습니다. 목적에 맞춘 칩으로의 전환은 회사가 이 과정에서 더 나아갈 수 있게 해줍니다. OpenAI는 발표에서 "OpenAI는 최첨단 모델을 개발하거나 그 위에 제품을 구축하는 것뿐만 아니라, 그 아래의 인프라를 설계하고 있다: 칩 아키텍처, 커널, 메모리 시스템, 네트워킹, 스케줄링, 배포 시스템, 그리고 제품 경험"이라고 설명했습니다. "OpenAI는 스택 전반에 걸쳐 운영되기 때문에, 각 레이어는 동일한 목표를 중심으로 최적화될 수 있다: 모델을 더 빠르고, 더 신뢰할 수 있으며, 사용자에게 더 저렴하게 만드는 것"이라고 덧붙였습니다.

참고 사항

이 기사의 링크를 통해 구매하면 소정의 커미션을 받을 수 있습니다. 이는 편집 독립성에 영향을 미치지 않습니다.

저자 소개

Russell Brandom은 2012년부터 플랫폼 정책과 신기술에 중점을 두고 기술 산업을 취재해 왔습니다. 그는 이전에 The Verge와 Rest of World에서 근무했으며, Wired, The Awl, MIT의 Technology Review에 글을 기고했습니다. Russell Brandom은 russell.brandom@techcrunch.com 또는 Signal을 통해 412-401-5489로 연락할 수 있습니다.

이벤트 안내

11월 4일 보스턴에서 열리는 TechCrunch Founder Summit에 최대 $190의 할인을 받을 수 있는 마지막 기회입니다. 모든 단계의 1,000명 이상의 창업자와 VC가 모여 실질적인 확장 통찰력과 연결을 제공합니다. 할인은 6월 26일 오후 11시 59분 PT에 종료됩니다. 지금 등록하세요.

OpenAI, Broadcom과 협력한 첫 맞춤형 칩 공개

파이랩 정리