Mesh LLM: 분산 AI 컴퓨팅의 새로운 장을 열다

Mesh LLM: 분산 AI 컴퓨팅의 혁신

대규모 언어 모델을 운영한다고 하면 많은 사람들은 데이터 센터를 떠올립니다. 다른 사람의 소유인 GPU 랙, 사용량에 따라 요금이 부과되는 API, 그리고 성공할수록 증가하는 비용이 생각납니다. 프롬프트를 블랙박스에 보내고, 가격, 모델, 개인정보 보호 정책이 가입 당시 그대로 유지되기를 바랍니다. 많은 팀에게 이는 좋지 않은 거래입니다. 모델이 언제 변경되는지, 데이터가 어디로 가는지, 어떤 하드웨어가 작업을 수행하는지에 대한 통제력을 잃게 됩니다. 사용량이 증가할수록 비용도 증가하며, "더 많은 비용을 지불하는 것" 외에는 해결책이 없습니다.

Mesh LLM은 이러한 문제를 해결하기 위한 새로운 접근 방식입니다. 이미 보유하고 있는 여러 대의 머신에 걸쳐 GPU와 메모리를 통합하여 하나의 OpenAI 호환 API로 노출합니다. 하나의 노드를 시작하고, 필요에 따라 더 많은 노드를 추가할 수 있습니다. 모델이 현재 머신에서 실행될지, 다른 피어로 라우팅될지, 여러 머신에 걸쳐 분할될지는 Mesh가 결정합니다.

AI의 비용 문제

AI는 비용이 많이 들고, 이는 다른 사람의 문제입니다. 인기 있는 모델들은 대부분 모놀리식 구조입니다. 대부분의 사람들은 UI나 API 키를 통해 대형 제공업체에 모든 것을 맡기고 비용을 지불합니다. 이는 편리하지만, 동시에 통제권을 포기하는 것입니다. 많은 비즈니스와 서비스는 더 많은 통제력, 더 많은 플러그 가능성, 더 낮은 비용을 원합니다. 그들은 사무실, 옷장, 책상 아래에 GPU를 가지고 있지만, 이 머신들을 하나로 작동시키는 방법이 부족합니다.

Mesh LLM: 직접 모델 실행

Mesh LLM의 제안은 간단합니다. 더 큰 GPU를 구매하지 않고도 더 큰 모델을 실행할 수 있습니다. 팀과 비공개로, 혹은 전 세계와 공개적으로 컴퓨팅을 공유하여 에이전트와 채팅을 지원합니다. OpenAI 클라이언트를 http://localhost:9337/v1로 지정하고 작업이 실제로 어디에서 이루어지는지 신경 쓰지 않아도 됩니다.

Mesh LLM은 iroh 엔드포인트의 메쉬를 통해 모델 컴퓨팅을 분산합니다. 요청은 세 가지 방법으로 처리될 수 있습니다:

이 머신의 GPU에서 로컬로 실행
이미 모델이 로드된 피어로 라우팅
단일 박스에 비해 너무 큰 모델을 여러 머신에 걸쳐 파이프라인으로 분할

작동 방식

아키텍처는 플러그 가능하며, 플러그인은 제공하는 기능을 매니페스트에 선언합니다. 런타임은 이를 시작하고, 호출을 라우팅하며, MCP, HTTP, 추론, 메쉬 이벤트를 통해 기능을 노출합니다. 카탈로그에는 노트북에 맞는 5억 파라미터 모델부터 235B 혼합 전문가 모델까지 40개 이상의 모델이 포함되어 있습니다. 대형 모델의 경우, Mesh LLM은 내부적으로 "Skippy"라고 불리는 분할 모드를 제공합니다. 모델은 레이어 범위에 따라 단계로 분할되며, 활성화는 한 단계에서 다음 단계로 흐릅니다. 따라서 여러 대의 중간급 머신이 단독으로는 실행할 수 없는 모델을 실행할 수 있습니다.

iroh의 활용

모델을 제공하거나 요청만 보내는 모든 노드는 iroh 엔드포인트를 부팅합니다. 이 엔드포인트는 노드의 정체성, 공개 키, 유일한 네트워크 표면입니다. 중앙 서버는 없습니다. iroh는 NAT 트래버설, 릴레이 폴백을 처리하여 어디에 있든 두 노드 간의 직접적이고 인증된 QUIC 연결을 엽니다. 이를 통해 인터넷 전반에서 작동할 수 있도록, Mesh LLM은 두 개의 iroh 릴레이를 다른 지역에 운영하여 직접 연결할 수 없는 노드가 항상 인근에 폴백 경로를 가질 수 있도록 합니다.

프로토콜

전체 프로토콜은 QUIC의 ALPN 협상을 기반으로 합니다. 세 가지가 있습니다:

mesh-llm/1: 메인 메쉬 - 소문, 라우팅, HTTP 터널, 플러그인 채널
mesh-llm-control/1: 소유자 제어 평면 - 구성 동기화, 소유권 증명
skippy-stage/2: 분할 모델을 위한 지연 민감 활성화 전송

메인 mesh-llm/1 연결 내부에서 모든 것은 단일 선행 바이트로 태그된 양방향 QUIC 스트림입니다. 이 바이트는 스트림의 종류를 나타냅니다. 한 연결은 소문, 추론, 라우트 쿼리, 피어 수명 주기 이벤트를 전달하며, 모두 첫 번째 바이트로 디멀티플렉싱됩니다.

시작하기

사용자는 약 18MB의 경량 소프트웨어를 설치하고, 공개 메쉬에 참여하거나 개인 배포를 구성할 수 있습니다. 시스템은 모든 표준 OpenAI 클라이언트에 localhost:9337/v1로 표시됩니다. iroh의 Swift SDK를 기반으로 한 모바일 앱이 출시될 예정입니다. 계획은 ACP, 즉 새로운 에이전트 표준을 지원하여 다른 클라이언트도 메쉬에 참여할 수 있도록 하는 것입니다. 이 프로젝트의 전체적인 목표는 더 많은 피어 투 피어, 더 적은 폐쇄 서버, 그리고 락인 없는 환경을 만드는 것입니다.

코드 확인

Mesh LLM 웹사이트에서 코드를 확인할 수 있습니다. Iroh는 모든 장치를 다이얼할 수 있는 네트워킹 라이브러리로, 필요한 기능을 얻기 위해 준비된 프로토콜 생태계에서 구성할 수 있으며, 덤 파이프 위에 깨끗한 추상화를 통해 완전히 사용자 정의할 수도 있습니다. Iroh는 오픈 소스이며, 이미 수십만 대의 장치에서 프로덕션으로 실행되고 있습니다. 시작하려면 문서를 참조하거나, 직접 코드를 탐색하거나, 디스코드 채널에서 대화할 수 있습니다.

파이랩 정리