본 논문은 대규모 언어 모델(LLMs)의 구조화된 지식(SK) 이해 능력을 평가하기 위한 새로운 벤치마크인 SKA-Bench를 제안합니다. SKA-Bench는 지식 그래프(KG), 표, KG+텍스트, 표+텍스트 등 네 가지 유형의 SK를 포함하며, 질문, 답변, 긍정적 지식 단위, 부정적 지식 단위로 구성됩니다. LLM의 SK 이해 능력을 세밀하게 평가하기 위해 잡음에 대한 강건성, 순서 민감도, 정보 통합 능력, 부정 정보 거절 능력 등 네 가지 측면을 평가합니다. 8개의 대표적인 LLM을 대상으로 실험한 결과, 기존 LLM은 여전히 SK 이해에 어려움을 겪고 있으며, 성능은 잡음의 양, 지식 단위의 순서, 환각 현상 등의 요인에 영향을 받는다는 것을 밝혔습니다. 데이터셋과 코드는 깃허브에서 공개합니다.
