저가 마이크로컨트롤러로 언어 모델 실행, 가능할까?

한 개발자가 28.9백만 개의 파라미터를 가진 언어 모델을 단 8달러짜리 ESP32-S3 마이크로컨트롤러에서 완전히 오프라인으로 실행하는 데 성공했습니다. 이 칩은 상대적으로 저렴한 가격에도 불구하고 복잡한 연산을 수행할 수 있는 능력을 보여주었습니다.

ESP32-S3는 일반적으로 IoT(사물인터넷) 장치에 사용되는 저가의 마이크로컨트롤러로, 제한된 자원 내에서 언어 모델을 실행할 수 있다는 점에서 주목받고 있습니다. 이번 실험은 저비용 하드웨어에서도 고급 AI 모델을 구동할 수 있는 가능성을 제시합니다.