Deus Lex Machina: 새로운 고속 Zig 토크나이저 알파 버전 공개
Zig 언어를 위한 초고속 토크나이저가 알파 버전으로 공개됐어요! 기존보다 2.75배 빠르고 메모리도 절약하는 이 도구는 AVX-512 지원 CPU에서 동작하며, 앞으로 더 큰 아키텍처와 다양한 기능도 추가될 예정입니다. SIMD로 64바이트씩 한 번에 처리하는 방식이 흥미롭죠!