Mining the Mind: What 100M Beliefs Reveal About Frontier LLM Knowledge
Created by
Haebom
저자
Shrestha Ghosh, Luca Giordano, Yujia Hu, Tuan-Phong Nguyen, Simon Razniewski
개요
LLM은 NLP 및 AI 작업에 혁신을 가져왔으며, 특히 사실적 지식이 중요한 역할을 한다. 본 논문은 GPT-4.1 기반의 GPTKB v1.5 (1억 개의 지식)를 활용하여 최첨단 LLM의 사실적 지식을 깊이 있게 분석한다. 이전 벤치마크보다 정확도가 낮고, 기존 지식 기반과 상당한 차이를 보이며, 불일치, 모호성, 환각과 같은 주요 문제점을 발견했다.