Flash-MoE: 397B 파라미터 모델을 48GB 램 맥북에서 돌리기
Flash-MoE는 397억 파라미터의 거대 AI 모델을 48GB 램 맥북에서 실행하는 혁신적인 프로젝트입니다. C/Metal만으로 SSD에서 모델을 스트리밍하며, 4비트 전문가 스트리밍과 GPU 최적화로 놀라운 속도를 자랑합니다. 거대한 AI를 노트북에서 돌릴 수 있다니, 궁금하지 않나요?