Kimi K3, 오픈 프론티어 인텔리전스로의 도약

Kimi K3: 오픈 프론티어 인텔리전스

오늘 우리는 Kimi K3를 소개합니다. Kimi K3는 우리의 가장 강력한 모델로, Kimi Delta Attention과 Attention Residuals를 기반으로 구축되었으며, 네이티브 비전 기능과 1백만 토큰의 컨텍스트 윈도우를 갖추고 있습니다. 이는 세계 최초의 오픈 3T 클래스 모델로, 장기 코딩, 지식 작업 및 추론을 위한 프론티어 인텔리전스를 위해 설계되었습니다. 비록 Claude Fable 5와 GPT 5.6 Sol 같은 가장 강력한 독점 모델들에 비해 전체 성능이 뒤처지지만, Kimi K3는 우리의 평가 스위트 전반에서 일관되게 다른 테스트 모델들을 능가하며 프론티어 수준의 성능을 보여주었습니다.

Kimi K3는 오늘부터 Kimi.com, Kimi Work, Kimi Code, 그리고 Kimi API에서 사용할 수 있습니다. 출시 시, Kimi K3는 기본적으로 최대 사고 노력을 사용하며, 이후 업데이트에서 저노력 및 고노력 모드가 도입될 예정입니다. 우리는 현재 추론 파트너 및 오픈 소스 유지 관리자와 긴밀히 협력하여 기술 세부 사항을 조정하고 생태계 전반에 걸쳐 신뢰할 수 있는 롤아웃을 보장하고 있습니다. 전체 모델 가중치는 2026년 7월 27일까지 공개될 예정입니다. 아키텍처, 훈련 및 평가에 대한 추가 세부 사항은 Kimi K3 기술 보고서와 함께 공개될 것입니다.

오픈 3T 클래스 모델

Kimi K3는 2.8조 파라미터에 도달한 최초의 오픈 모델입니다. 이는 Kimi가 스케일링 프론티어에서 지속적으로 추진해 온 최신 단계로, 지난 12개월 중 9개월 동안 Kimi 모델은 오픈 모델 크기의 상한선을 설정했습니다. Kimi K3는 Kimi Delta Attention(KDA)과 Attention Residuals(AttnRes)를 기반으로 구축되었으며, 이는 시퀀스 길이와 모델 깊이 전반에 걸쳐 정보 흐름을 개선하기 위해 설계된 두 가지 아키텍처 업데이트입니다. 우리는 또한 Mixture of Experts(MoE) 희소성을 확장하여, Stable LatentMoE 프레임워크와 결합할 때 896명의 전문가 중 16명을 효과적으로 활성화했습니다. 이러한 구조적 변화와 정제된 훈련 및 데이터 레시피를 통해 Kimi K2에 비해 전체 스케일링 효율성이 약 2.5배 개선되어, 모델이 컴퓨팅을 보다 효과적으로 인텔리전스로 변환할 수 있게 되었습니다.

Kimi K3의 성능

Kimi K3는 긴 호라이즌 코딩 성능이 뛰어납니다. 최소한의 인간 감독으로 긴 엔지니어링 세션을 지속하고, 대규모 저장소를 탐색하며, 터미널 도구를 조율할 수 있습니다. Kimi K3는 소프트웨어 엔지니어링과 시각적 추론을 결합한 작업에서도 뛰어난 성능을 발휘합니다. 스크린샷과 비주얼을 활용하여 게임 개발, 프론트엔드, CAD를 최적화합니다. 아래 사례 연구는 Kimi K3의 코딩 기능이 개방형 소프트웨어 생성 및 과학 연구로 어떻게 번역되는지를 보여줍니다.

커널 최적화

우리는 모델의 GPU 커널 최적화 능력을 테스트했습니다. 각 모델은 동일한 샌드박스에서 독립적으로 작업하며, 최대 24시간 동안 AttnRes, KDA 및 512-헤드 차원 MLA 커널을 포함한 네 가지 작업을 프로파일링, 재작성 및 벤치마킹했습니다. Kimi K3는 Fable 5와 경쟁적으로 성능을 발휘했으며, Opus 4.8, GPT 5.6 Sol 및 GPT 5.5를 크게 능가했습니다.

GPU 컴파일러 개발

Kimi K3는 GPU 프로그래밍 시스템을 처음부터 구축할 수 있는지 추가로 테스트했습니다. Kimi K3는 MiniTriton이라는 컴팩트한 Triton 유사 컴파일러를 개발했으며, 이는 자체 타일 수준 IR 레이어, 최적화 패스 및 PTX 코드 생성 파이프라인을 갖추고 있습니다. 지원되는 루프라인 벤치마크 전반에서 MiniTriton은 Triton 및 torch.compile과 동등하거나 더 나은 성능을 발휘합니다.

게임 개발 및 디지털 창작

Kimi K3는 강력한 3D 추론, 코딩 및 비전 기능을 결합하여 개념, 이미지 및 비디오를 완전한 플레이 가능한 인터랙티브 경험으로 전환합니다. Kimi K3는 코드와 라이브 스크린샷 간의 원활한 반복을 통해 "루프 내 비전"을 실현합니다.

칩 설계

Kimi K3는 자체 아키텍처를 기반으로 한 나노 모델을 위한 칩을 설계했습니다. 48시간의 자율 실행에서 K3는 공개 소스 EDA 도구를 사용하여 칩을 구축, 최적화 및 검증했습니다.

연구 및 지식 작업

Kimi K3는 과학 문헌과 실행 가능한 코드를 연결하여 복잡한 계산 연구 워크플로우를 자율적으로 구현, 검증 및 분석합니다. 예를 들어, Kimi K3는 약 2시간 만에 경험 많은 연구자가 1~2주 걸릴 작업을 완료했습니다.

상호작용 시각화 연구

Kimi Work에서 Kimi K3는 금융 컨설팅 및 과학 연구 전반에서 다양한 상호작용 시각화를 생성할 수 있습니다. 예를 들어, AI ASIC 산업의 42년 역사를 다룬 상호작용 연구 보고서나, 중력파 분석을 위한 391개의 사건 분석을 포함한 보고서를 생성할 수 있습니다.

아키텍처 및 인프라

Kimi K3는 Kimi Delta Attention(KDA)과 Attention Residuals(AttnRes)를 기반으로 구축되었습니다. KDA는 주의력 스케일링을 위한 효율적인 기반을 제공하며, AttnRes는 깊이 전반에 걸쳐 표현을 선택적으로 검색합니다. 이러한 진보는 2.8조 파라미터 규모에서 안정적이고 효율적인 훈련을 가능하게 합니다.

사용 가능성

Kimi K3는 다양한 플랫폼에서 사용할 수 있습니다. 모바일 앱 스토어에서 최신 Kimi 앱을 다운로드하거나, Kimi Work 데스크톱 앱을 다운로드하여 Kimi K3와 함께 작업할 수 있습니다. Kimi API 플랫폼에서 Kimi K3를 선택하여 빌드할 수 있으며, 다양한 가격 옵션이 제공됩니다.