SmolGPT: 작은 LLM을 위한 PyTorch 구현
SmolGPT는 PyTorch로 구현된 작은 LLM을 교육 목적으로 쉽게 학습할 수 있도록 설계되었습니다. 플래시 어텐션, RMSNorm, SwiGLU 등 최신 아키텍처를 사용하며, 효율적인 샘플링 기법을 제공합니다. TinyStories 데이터셋을 지원하며, SentencePiece 토크나이저를 통합할 수 있습니다. Python 3.8+와 CUDA를 지원하는 PyTorch 2.0+가 필요합니다. 간단한 설치와 빠른 시작으로 직접 모델을 학습하거나, 사전 학습된 모델을 사용할 수 있습니다. 기여를 환영하며, 버그 수정이나 성능 개선, 새로운 기능 추가에 대한 PR을 열어주세요!