Hugging Face, 1조 토큰 규모의 다국어 병렬 데이터셋 FineTranslations 공개
Hugging Face가 1조 토큰에 달하는 FineTranslations 데이터셋을 공개했어요! 500개 이상의 언어와 영어 간 병렬 텍스트로, 저자원 언어 번역 성능 향상에 큰 도움이 될 전망입니다. 문화적 맥락도 잘 보존되어 흥미로운 연구가 기대돼요.