RWKV 프로젝트, 대규모 언어 모델 Eagle 7B 오픈 소스화
RWKV 프로젝트가 7.52B 파라미터의 대규모 언어 모델인 Eagle 7B를 오픈 소스화했습니다. 이 모델은 100개 이상의 언어로 구성된 1.1조 토큰의 텍스트로 훈련되었으며, 다국어 벤치마크에서 유사한 크기의 다른 모델들을 능가합니다. 주목할 만한 점은, Eagle 7B가 최대 입력 컨텍스트 길이에 제한이 없는 주목 기반 아키텍처가 아닌 RWKV 아키텍처를 기반으로 한다는 것입니다.