지역 LLM 운영에 대해 지금까지 배운 모든 것
이 글에서는 라즈베리 파이에서 실행할 수 있을 정도로 접근성이 좋아진 대규모 언어 모델(LLM)에 대한 저자의 경험을 공유합니다. 저자는 llama.cpp 소프트웨어와 Hugging Face의 GGUF 모델을 사용했으며, Illume이라는 커맨드 라인 인터페이스를 직접 구축했습니다. 또한, LLM의 한계와 유용한 활용 사례도 소개합니다.