메타, 상시 가동 로컬 에이전트를 위한 30B 모델 출시

메타, Muse Glimmer: 로컬 에이전트 모델 출시

메타 슈퍼인텔리전스 연구소는 오늘 Muse Glimmer라는 새로운 모델을 소개하며, 이 모델의 가중치를 Apache 2.0 라이선스 하에 오픈 소스로 공개합니다. Muse Glimmer는 300억 개의 매개변수를 가진 모델로, 항상 켜져 있는 로컬 에이전트 워크플로우에 최적화되어 있습니다. 이 모델은 단일 소비자 GPU로도 Mac이나 PC에서 실행할 수 있을 만큼 작아, 로컬 에이전트, 함수 호출, 로컬 코딩, LLM 평가 등 다양한 사용 사례를 지원합니다. Muse Glimmer는 동일한 크기 범주의 선도 모델들과 비교하여 주요 에이전트 사용 사례와 벤치마크에서 강력한 성능을 제공합니다.

기초 모델은 추론, 코드 생성, 도구 사용 등에서 놀라운 능력을 보여주고 있지만, 대부분의 배포는 여전히 클라우드 인프라와 네트워크 접근에 의존하고 있습니다. 로컬에서 모델을 실행하면 인터넷 연결 여부와 상관없이 언제 어디서나 AI를 사용할 수 있습니다. 이는 점점 더 가능해지고 있으며, 오픈 소스 커뮤니티는 효과적으로 훈련된 작은 모델이 특정 작업에서 최첨단 성능에 근접할 수 있음을 보여주었습니다. Muse Glimmer는 이러한 로컬 사용 사례에 최적화되어 있습니다.

Muse Glimmer의 훈련 과정

개인적인 맥락에 깊이 접근해야 하는 에이전트는 일정 관리, 메시지 작성, 파일 정리, 사용자 작업 방식 학습 등 여러 기능을 동시에 수행해야 합니다. 이를 위해 Muse Glimmer는 로컬 하드웨어의 메모리와 계산 제약을 고려하여 설계되었습니다. 이는 보다 큰 교사 모델에서 에이전트 추론을 전이하는 새로운 증류 방법과 지연 시간을 충족시키기 위한 추론 최적화, 양자화 등을 포함한 컴팩트한 아키텍처를 필요로 했습니다.

1. 사전 훈련: Muse Glimmer는 Muse Spark의 출력을 사용하여 로짓 증류를 통해 훈련되었으며, 교사와 유사한 데이터 믹스를 활용했습니다.
2. 중간 훈련: 더 긴 맥락과 에이전트 중심의 데이터, 풍부한 추론 흔적을 가진 데이터를 사용하여 훈련되었습니다.
3. 후기 훈련: 일반, 추론, 코딩, 에이전트 도메인 전반에 걸쳐 정책 내 증류와 강화 학습을 혼합하여 감독된 미세 조정을 수행했습니다.

Muse Glimmer의 기능

효과적인 에이전트를 구축하려면 사용자의 목표를 달성하기 위해 여러 핵심 기능이 함께 작동해야 합니다. Muse Glimmer는 다음과 같은 기능을 훈련하고 평가했습니다.

• 종단 간 에이전트 작업 완료: Muse Glimmer는 DeepSearch QA, MCP-Atlas, 𝛕-Bench 및 SWE-Bench와 같은 전체 작업 벤치마크에서 강력한 성공률을 달성합니다.
• 신뢰할 수 있는 도구 사용: 모델은 확장된 워크플로우 전반에 걸쳐 정확한 스키마를 사용하여 도구를 호출합니다.
• 다단계 추론: Muse Glimmer는 복잡하고 확장된 워크플로우 전반에 걸쳐 일관된 계획을 유지합니다.
• 실패 복구: 도구 호출이 실패하거나 예상치 못한 결과를 반환할 때, 모델은 오류를 진단하고 중단하지 않고 재시도하도록 훈련되었습니다.
• 멀티모달 입력 및 추론: 전용 인식 인코더를 통해 텍스트와 이미지를 혼합하여 수용합니다.
• 스캐폴드 호환성: OpenClaw 및 기타 에이전트 오케스트레이션 패턴 전반에서 작동합니다.
• 제어 가능한 노력: 다양한 추론 강도를 지원하여 품질과 속도 사이의 적절한 균형을 선택할 수 있습니다.
• 다국어 지원: 100개 이상의 언어 데이터를 기반으로 훈련되었습니다.

로컬 배포에 최적화

로컬 에이전트는 빠르게 반응할 수 있을 때 진정으로 유용합니다. Muse Glimmer는 소비자 하드웨어에서 실용적인 속도로 실행되도록 두 가지 최적화를 적용했습니다.

• 장치에 모델 맞추기: 300억 개의 매개변수를 가진 모델은 55GB 이상의 메모리가 필요하지만, 양자화 기술을 사용하여 모델의 가중치를 약 4비트 정밀도로 압축하여 20GB 미만으로 줄였습니다.
• 빠른 생성: Muse Glimmer는 DFlash 기반의 경량 "드래프터" 모델을 사용하여 한 번에 전체 블록의 토큰을 제안합니다.

Muse Glimmer 시작하기

Muse Glimmer는 현재 사용 가능하며, Hugging Face에서 가중치를 다운로드할 수 있습니다. Ollama, LM Studio, Unsloth와 같은 파트너를 통해 로컬에서 실행하거나, llama.cpp, ExecuTorch, MLX와 같은 엣지 프레임워크로 배포할 수 있습니다. 또한 PyTorch의 TorchTitan 훈련 기능을 활용하여 모델을 사용자 정의할 수 있습니다. AMD, Arm, Dell, Intel, NVIDIA와 같은 파트너와 협력하여 다양한 장치에서 성능을 최적화하고 있습니다. 개발자들이 시작할 수 있도록 문서도 제공하고 있으며, Meta의 AI Developer Center에서 더 많은 정보를 얻을 수 있습니다. Muse Glimmer는 메타의 오픈 AI 연구 전통을 이어가며, 에이전트 AI로 확장하여 개발자들에게 로컬 에이전트 기능에 대한 접근을 제공합니다.