메타, 효율적인 장문 시퀀스 모델링을 위해 MEGALODON LLM 오픈 소스 공개
메타와 여러 대학 연구팀이 장문의 컨텍스트를 처리할 수 있는 대형 언어 모델 MEGALODON을 오픈 소스로 공개했습니다. 이 모델은 청크 단위 주의 메커니즘을 사용하며, 훈련 시 시퀀스 기반 병렬 처리를 도입하여 장문 훈련의 확장성을 개선했습니다. MEGALODON은 기존 모델들을 뛰어넘는 성능을 보여주며, 특히 긴 컨텍스트 길이에서의 계산 효율성이 높습니다.