3000바이트의 C로 구현한 ChatGPT 클론: GPT-2 기반
이 문서는 의존성 없는 GPT-2 구현을 설명합니다. 이 프로그램은 바이트 쌍 인코딩을 사용해 입력을 토큰화하고, 변환기 추론을 수행합니다. 효율적인 행렬 곱셈 알고리즘과 KV 캐싱을 통해 GPT-2 Small 모델이 몇 초 만에 응답을 생성할 수 있습니다. 흥미로운 점은 이 모든 것이 3000바이트의 C 코드로 가능하다는 것입니다!