프레젠테이션: GitHub Copilot이 하루 4억 건의 완성 요청을 처리하는 방법
GitHub Copilot은 대규모 언어 모델을 활용한 코드 완성 서비스로, 하루 4억 건의 요청을 처리합니다. 데이비드 체니는 이 서비스의 아키텍처와 지연 시간을 줄이기 위한 노력을 설명합니다. HTTP/2를 활용해 성능을 개선하고, 글로벌 인프라를 통해 전 세계 사용자에게 빠른 응답을 제공합니다. 이 프레젠테이션은 Copilot의 복잡한 엔지니어링 도전과제를 조명합니다.