대규모 언어 모델(LLM)이 지식 그래프 질의 응답(KGQA) 분야에서 발전했지만, 기존 시스템은 예측 가능한 관련 답변을 반환하는 데 최적화되어 있습니다. 본 논문은 LLM을 활용하여 놀랍고 새로운(우연한) 답변을 제안하는 능력을 개발하는 것을 목표로 합니다. 이를 위해, 우연성 인지 KGQA 작업을 공식적으로 정의하고, SerenQA 프레임워크를 제안하여 과학적 KGQA 작업에서 LLM의 예상치 못한 통찰력을 발견하는 능력을 평가합니다. SerenQA는 관련성, 참신성, 놀라움을 기반으로 하는 엄격한 우연성 메트릭과, 약물 재사용에 초점을 맞춘 임상 지식 그래프에서 파생된 전문가가 주석을 단 벤치마크를 포함합니다. 또한 지식 검색, 하위 그래프 추론, 우연성 탐색의 세 가지 하위 작업으로 구성된 구조화된 평가 파이프라인을 갖추고 있습니다. 실험 결과, 최첨단 LLM은 검색에서는 좋은 성과를 보이지만, 진정으로 놀랍고 가치 있는 발견을 식별하는 데는 어려움을 겪는 것으로 나타났으며, 이는 향후 개선의 여지가 있음을 시사합니다.
