OpenAI의 최신 LLM은 정확도가 42.7%에 불과하다
OpenAI가 자체 벤치마크 'SimpleQA'를 통해 자사의 최신 모델이 정확한 답변을 제공할 확률이 42.7%에 불과하다고 발표했습니다. 이는 모델이 틀린 답변을 제공할 가능성이 더 높다는 것을 의미합니다. 이러한 결과는 대규모 언어 모델(LLM)이 현실 세계에서 신뢰할 수 없다는 점을 강조하며, 사용자는 이를 주의 깊게 다뤄야 합니다.