exo 소프트웨어 - 컴퓨터, 스마트폰, SBC 클러스터에서 실행되는 분산 LLM 솔루션
Exo 소프트웨어는 컴퓨터, 스마트폰, Raspberry Pi 같은 SBC 클러스터에서 대형 언어 모델(LLM)을 실행할 수 있는 분산 솔루션을 제공합니다. LLaMA, Mistral 등 다양한 모델을 지원하며, 네트워크 토폴로지에 따라 모델을 동적으로 분할해 고성능 하드웨어 없이도 복잡한 AI 작업을 수행할 수 있습니다. 자동 장치 탐지와 ChatGPT 호환 API로 사용이 간편하며, Linux, Mac OS, Android, iOS에서 주로 지원됩니다. 메모리가 충분하다면 다양한 장치 조합으로 모델을 실행할 수 있어, 고급 AI 기능을 보다 쉽게 접근할 수 있습니다.