본 논문은 지식 그래프 기반 검색 증강 생성(KG-RAG) 방법이 지식 그래프(KG)의 불완전성에 얼마나 민감한지 평가한다. 질의응답(QA)과 같은 작업에서 대규모 언어 모델(LLM) 추론을 향상시키는 KG-RAG는 실제 세계의 불완전한 KG에 의존하는데, 이는 질문에 답하는 데 필요한 정보가 누락될 수 있음을 의미한다. 본 연구는 다양한 방법으로 KG에서 3항 튜플을 제거하여 KG의 불완전성을 체계적으로 조작하고, 그 영향을 분석함으로써 KG-RAG 방법의 성능 저하를 실험적으로 보여준다. 결과적으로, 실제 환경에서 더욱 강력한 KG-RAG 접근 방식의 필요성을 강조한다.
시사점, 한계점
•
시사점: 실제 세계 지식 그래프의 불완전성이 KG-RAG 성능에 미치는 영향을 체계적으로 평가한 최초의 연구이다. KG-RAG 방법의 취약성을 드러냄으로써, 더욱 강건한 모델 개발의 필요성을 제시한다. 불완전한 KG 하에서 KG-RAG의 성능 저하를 명확히 보여줌으로써, 향후 연구 방향을 제시한다.
•
한계점: 제시된 KG 불완전성 조작 방법의 일반화 가능성에 대한 추가 연구가 필요하다. 특정 유형의 KG 불완전성에만 초점을 맞추었을 가능성이 있으며, 더 다양한 유형의 불완전성을 고려해야 한다. 평가에 사용된 KG-RAG 방법의 종류가 제한적일 수 있으며, 더 광범위한 방법론을 포함하는 연구가 필요하다.
