본 논문은 구조화된 지식(지식 그래프나 표)과 비구조화된 콘텐츠(자연어 문서) 모두에 접근 가능한 실세계 환경에서의 머신러닝 모델 및 대화형 시스템을 다룹니다. 대부분의 시스템이 둘 중 하나에만 의존하는 것과 달리, 본 논문에서는 비구조화된 콘텐츠를 구조화된 데이터 내 노드에 연결하는 반구조화 지식 베이스(SKB)를 활용하여 다단계 질의응답을 위한 모듈형 프레임워크인 FocusedRetriever를 제시합니다. FocusedRetriever는 VSS 기반 엔티티 검색, LLM 기반 Cypher 쿼리 생성, 쌍 비교 재순위 지정 등의 구성 요소를 통합하여 STaRK 벤치마크 테스트 세트 전반에서 최첨단 방법을 능가하는 성능을 보여줍니다. 평균 최초 적중률은 두 번째로 좋은 방법보다 25.7% 높습니다. LLM의 관계적 사실과 엔티티 속성 추출 능력, 노드 집합 조인을 통한 후보 필터링, 벡터 유사도 검색을 통한 관련 콘텐츠 검색 및 LLM의 상황적 능력을 활용하여 최상위 k개의 답변을 순위 지정합니다. 일반성을 위해 평가에서는 기본 LLM만 통합했지만, 중간 결과 분석을 통해 미세 조정 등 추가 개선 가능성을 제시합니다. 소스 코드는 공개적으로 제공됩니다.
