AMD, Taalas 인수로 AI 성능 강화

AMD, Taalas 인수로 AI 성능 강화

AMD는 AI 하드웨어 분야에서 Nvidia의 지배력을 흔들기 위한 최신 시도로 AI 칩 스타트업인 Taalas를 인수했습니다. Taalas는 모델 가중치를 직접 실리콘에 새기는 기술을 통해 추론 성능을 획기적으로 향상시킬 수 있는 가능성을 제시하고 있습니다. 이 거래는 목요일 시장 마감 후 발표되었으며, 지난해 Nvidia가 Groq와 체결한 200억 달러 규모의 라이선스 계약과 유사한 맥락에서 이루어진 것으로 보입니다. AMD는 이번 거래의 조건을 공개하지 않았지만, 이는 인수합병이 아닌 실제 인수로 이해되고 있습니다.

Taalas의 혁신적인 접근 방식

2023년에 토론토에 설립된 Taalas는 기존 GPU나 Groq LPUs, Cerebras의 웨이퍼 스케일 가속기와는 근본적으로 다른 추론 방식을 제안합니다. Taalas의 칩은 HBM을 사용하여 모델 가중치를 저장하는 대신, 이를 직접 실리콘에 새깁니다. 이러한 방식으로 Taalas의 칩은 모델 특화 집적 회로(MSIC)로 볼 수 있습니다.

Taalas의 기술은 단순한 개념에 그치지 않습니다. 올해 2월, Taalas는 TSMC의 6nm 공정 기술로 제작된 첫 번째 테스트 칩인 HC1을 공개했습니다. 초기 벤치마크에 따르면, 이 칩은 Meta의 Llama 3.1 8B 모델을 초당 16,960 토큰으로 처리할 수 있었습니다. 이는 당시 Nvidia의 GPU보다 48배, Cerebras의 가속기보다 8.5배 빠른 속도였습니다. Taalas는 두 번째 세대 HC2 칩에서 파라미터 수를 200억 개로 늘릴 계획입니다.

AMD의 전략적 계획

AMD는 Instinct 기반의 Helios 랙과 Taalas의 기술을 기반으로 한 칩을 결합할 계획입니다. 이는 컴퓨팅 집약적인 프롬프트 처리는 GPU에서 수행하고, 토큰 생성은 Taalas 기반 가속기로 오프로드하는 비집적 아키텍처를 암시합니다. AMD는 고객이 Instinct 가속기에서 모델을 초기 배포 및 검증한 후, 만족할 경우 Taalas 가속기로 전환하는 식의 전략을 채택할 가능성도 있습니다.

AMD의 AI 부문 수석 부사장 Vamsi Boppana는 "AMD는 고객에게 모든 AI 작업에 적합한 컴퓨팅 솔루션을 배포할 수 있는 유연성을 제공하는 풀스택 AI 플랫폼을 구축하고 있습니다"라고 밝혔습니다.

Taalas 기술의 한계와 가능성

Taalas의 기술은 매우 빠르지만, 한 가지 큰 단점이 있습니다. 칩이 배포되면 해당 모델에 고정됩니다. LoRA 어댑터와 같은 작은 변경을 제외한 모든 변경은 칩의 재설계가 필요하며, 이는 비용이 많이 들고 시간이 소요됩니다. 그러나 Taalas에 따르면, 새로운 모델이 필요할 때 처음부터 다시 시작할 필요는 없습니다. 단지 두 개의 금속층만 변경하면 되므로 비용과 시간이 덜 소요됩니다.

AI 모델 개발에 미치는 영향

Taalas의 기술은 모델 개발에도 영향을 미칠 수 있습니다. 개발자들은 정확성을 높이기 위해 시간을 투자하는 방식으로 환각을 줄여왔습니다. 이 방법은 테스트 시간 스케일링이라고 불리며, 모델이 응답하기 전에 더 오래 "생각"하게 하는 간단한 기술입니다. 그러나 이는 상당히 많은 토큰을 소비하여 비용이 증가하고 사용자가 응답을 기다려야 하는 단점이 있습니다. AMD의 Taalas 인수가 토큰당 비용을 줄이고 출력 속도를 10배에서 20배까지 높일 수 있다면, 모델 개발자들은 추론 시간을 더욱 연장할 수 있을 것입니다.

이번 거래는 규제 승인을 거쳐 4분기에 마무리될 예정입니다. AMD는 OpenAI, Anthropic, Meta와 같은 주요 Instinct 고객들과의 협력을 통해 Taalas와 Instinct 가속기를 결합한 모델을 배포할 가능성이 큽니다.