본 논문은 대규모 언어 모델(LLM)의 사실성에 대한 지속적인 문제점을 다룬다. 기존 벤치마크는 짧은 사실적 답변을 평가하는 데 초점을 맞춰, 매개변수적 지식으로부터 구조화된 다중 레코드 표 형식의 출력을 생성하는 능력을 간과한다. 본 논문은 모델이 개별 사실을 알고 있더라도 관계형 사실 검색이 단일 지점 쿼리보다 훨씬 어렵다는 것을 보여주며, 출력 차원(예: 속성 또는 레코드 수)에 민감한 독특한 실패 모드를 노출한다. 이러한 미개척 능력을 체계적으로 평가하기 위해, 본 논문은 다양한 자연어 질문(SQL과 짝을 이룸)과 표준화된 표 형식의 답변을 특징으로 하는 새로운 벤치마크인 RelationalFactQA를 제시한다. RelationalFactQA는 다양한 쿼리 복잡성, 출력 크기 및 데이터 특성에 대한 분석을 가능하게 한다. 실험 결과, 최첨단 LLM조차도 관계형 출력 생성에서 25%를 넘지 않는 사실적 정확도를 보이며, 출력 차원이 증가함에 따라 성능이 현저히 저하됨을 보여준다. 이러한 결과는 현재 LLM의 구조화된 사실적 지식을 종합하는 능력의 중요한 한계를 강조하며, RelationalFactQA를 LLM 사실성의 미래 발전을 측정하는 중요한 자원으로 확립한다.
