코드를 위한 대규모 언어 모델: 현황, 기회, 그리고 도전 과제
루브나 벤 알랄이 대규모 언어 모델(LLMs)의 최신 개발 동향과 훈련 방법, 그리고 맞춤형 코드베이스 활용 방안에 대해 설명합니다. GitHub Copilot의 등장은 코드 완성을 위한 LLMs 사용에 있어 획기적인 발전이었습니다. 또한, BigCode 프로젝트는 이러한 모델의 한계를 극복하고자 오픈소스 데이터셋과 도구를 제공합니다.