GLM 5.2와 AI 시장의 마진 붕괴 예고

이 글은 AI 경제에서 다가오는 변화 중 가장 이해되지 않은 부분에 대해 다루는 두 부분으로 구성된 시리즈의 첫 번째 글입니다. 이 글을 즐기셨다면, 두 번째 글에 대한 알림을 받기 위해 뉴스레터에 가입하실 수 있습니다.

DeepSeek의 순간

과거 DeepSeek의 R1 모델이 등장했을 때, 시장은 놀라움을 금치 못했습니다. V3 모델의 훈련 비용이 600만 달러 미만이라는 소문이 돌면서, 시장은 모델 훈련에 대한 대규모 자본 지출이 끝났다고 생각했고, 그 결과 Nvidia 등의 주가는 하룻밤 사이에 폭락했습니다. 그러나 이는 AI 비용의 실질적인 위치를 잘못 이해한 결과였습니다. 훈련은 자본 집약적이지만 고정된 초기 비용입니다. 모델을 훈련하는 데 수백만 달러를 지출한 후에는 "끝"입니다. 반면 추론은 수요에 따라 확장되며, 실제로 한계 비용이 발생합니다. 지난 1년 동안 이 주제에 대해 길게 논의한 바 있습니다. 주류의 이해는 API 비용이 제공자의 실제 비용이라는 오해가 있습니다. Anthropic/OpenAI가 추론에 대해 $25/MTok를 청구할 때, 제 계산에 따르면 이는 컴퓨팅 비용 대비 약 90%의 총 마진일 가능성이 높습니다. OpenAI의 유출된 재무 자료는 수익에 대한 약 60%의 총 마진을 시사하지만, 이는 지원, 결제 처리 및 기타 서비스와 같은 많은 다른 비용을 포함할 것입니다. 최전선 AI 연구소의 비즈니스 모델은 대규모 급여와 컴퓨팅 비용을 들여 모델을 훈련하고, 그 비용을 매우 수익성 있는 추론에 걸쳐 상각하는 것입니다. 충분한 추론에 그 비용을 상각할 수 있다면, COGS 기준에서 수익성을 넘어 실제로 수익을 창출할 수 있습니다.

GLM 5.2

최근 몇 주 동안 Z.ai의 GLM5.2를 사용해 보았습니다. GLM5.2는 Opus와 GPT와 경쟁할 수 있는 진정한 오픈 웨이트 모델로, 매우 뛰어난 성능을 보입니다. Opus와의 차이를 구분하기 어려울 정도로 우수합니다. 다만, 많은 사고를 필요로 하기 때문에 속도가 느립니다. 비상호작용적 에이전트 작업(예: PR 리뷰)에서는 문제가 되지 않지만, 상호작용적 사용에서는 주의를 끌기에는 다소 느립니다. 이는 비용 효율성을 다소 감소시키기도 합니다. 또한 비전 지원이 없습니다. Opus 4.7 이후로 비전 기능을 자주 사용하게 되었는데, 이미지 기반 PDF, 스크린샷 및 디자인 파일을 읽지 못하는 것은 상당히 불편합니다. 멀티모달 모델이 개발 중일 것이라 확신하지만, 이는 최전선 연구소에 비해 큰 약점입니다.

또한 웹 검색 기능의 부족 또는 부실함이 예상치 못한 장애물로 작용했습니다. 거의 모든 에이전트 세션이 항목을 검색하기 위해 많은 웹 검색을 수행합니다. Z.ai는 웹 검색을 위한 대체 MCP를 제공하지만, 이는 매우 느리고 성능이 떨어집니다. Fireworks는 아무런 기능도 제공하지 않으며, 제품 개선을 항상 고려하고 있다는 모호한 답변만 주었습니다. CLI 기반 웹 검색을 사용하도록 에이전트를 지시하여 이를 어느 정도 해결했지만, 이는 현재 큰 약점입니다. 제3자 웹 검색 API의 잠재력에 대해 매우 긍정적입니다. 이는 오픈 웨이트 모델 제공자가 제공할 수 있는 큰 격차이며, 훌륭한 웹 검색 기능은 많은 에이전트 작업에 필수적입니다. 시간이 지나면서 해결될 것이 분명하며, 적절한 파트너십과 연결만 있으면 됩니다.

대체 가능성

최전선 연구소에 위협이 되는 부분은 오픈 웨이트 모델로의 전환이 얼마나 쉬운가입니다. Z.ai와 Fireworks는 OpenAI 및 Anthropic과 호환되는 엔드포인트를 제공합니다. 이는 Claude Code와 Codex에서 사용하기에 매우 간단합니다. 기본 URL을 설정하여 추론 제공자를 가리키고, API 키를 제공한 후 GLM5.2를 사용하도록 지시하면 됩니다. Anthropic이 최근 API 요금을 청구하겠다고 발표했다가 철회한 후, 많은 비상호작용적 에이전트 사용 사례에서 GLM으로 대체할 수 있습니다. 상호작용적 사용의 경우, 비전 부족과 느린 속도를 제외하면 Opus를 사용하지 않는다는 것을 거의 알아차릴 수 없었습니다. Microsoft나 Salesforce와 같은 잠금 효과가 있는 것이 아니라, 전환 비용이 매우 낮습니다. Claude Code가 제3자 제공자 사용을 어렵게 만들 가능성도 있지만, Codex 자체와 OpenCode 등 많은 오픈 소스 옵션이 있습니다.

기업에서 자주 듣는 우려 중 하나는 데이터 프라이버시와 보안입니다. Z.ai의 공식 API와 구독을 사용하는 것은 거의 불가능하며, 그들의 조건은 최선의 경우에도 약하고 중국 본토와 깊은 연결이 있습니다. 그러나 오픈 웨이트가 공개되어 있기 때문에 시장에는 많은 다른 제공자가 있으며, 많은 경우 적절한 계약 조항을 갖추고 있습니다. 충분하지 않다면, 자체적으로 호스팅하여 Opus 수준의 에이전트 워크플로우에 더 민감한 데이터를 사용할 수 있습니다.

비용 절감

GLM5.2의 현재 요금은 $4.40/MTok 수준으로, Opus의 소매 가격의 20% 미만이며, GPT5.5 비용의 약 15%입니다. 주어진 작업에 더 많은 토큰을 사용하기 때문에 완전히 동일한 비교는 아니지만, 거의 모든 워크플로우에서 50% 이상 저렴할 것으로 예상됩니다. Z.ai는 Anthropic 및 OpenAI의 계획을 반영한 "코딩 플랜" 구독을 제공하지만, 더 높은 사용 한도를 주장합니다. 대부분의 전문 사용에서는 훈련 및 데이터 보유에 대한 느슨한 조건이 판매를 어렵게 만들 것입니다. 그러나 최전선 연구소가 가격을 크게 인상하려 한다면, 예산을 중시하는 사람들에게는 신뢰할 수 있는 옵션이 될 수 있습니다. GLM5.2의 비용은 앞으로 몇 달 동안 서빙 스택의 최적화가 진행됨에 따라 크게 감소할 것으로 예상됩니다. Wafer는 AMD 하드웨어에서 실행하는 노력을 흥미롭게 설명했으며, AMD에서 추론을 실행하는 것이 Nvidia Blackwell보다 토큰당 2.75배 저렴하다고 제안합니다.

이 시리즈의 두 번째 부분에서는 추론 마진 붕괴가 산업에 미치는 영향과 승자와 패자가 될 가능성이 있는 주제를 다룰 것입니다. Bezos의 유명한 "당신의 마진은 나의 기회"라는 말을 염두에 두시기 바랍니다. 이 글이 유용하셨다면, 매달 뉴스레터를 통해 모든 글을 보내드립니다.

파이랩 정리