화웨이, Ascend GPU로 학습한 오픈 웨이트 모델 공개
화웨이가 자체 Ascend GPU에서 학습한 대규모 언어 모델 Pangu Pro MoE를 공개했습니다. 이 모델은 효율적인 분산 처리와 빠른 추론 속도를 자랑하며, 100억 파라미터 이하 오픈소스 모델 중 최고 성능을 보여줍니다. 흥미로운 점은, 전문가 그룹을 묶어 부하를 균등하게 분산하는 새로운 구조를 도입했다는 것입니다!