본 논문은 대규모 구조화 지식베이스(KB)를 이용한 지식베이스 질의응답(KBQA) 시스템인 KBQA-o1을 제안한다. 기존 KBQA 시스템이 지식베이스 인식 부족, 효율성과 효과의 불균형, 그리고 많은 주석 데이터 의존성 등의 문제점을 가지고 있는 점을 해결하기 위해, 몬테카를로 트리 탐색(MCTS)을 이용한 에이전트 기반 KBQA 방법을 제시한다. ReAct 기반 에이전트는 단계적인 논리 형태 생성과 KB 환경 탐색을 수행하며, MCTS는 정책 및 보상 모델에 의해 주도되는 휴리스틱 탐색 방법으로 에이전트 탐색의 성능과 탐색 공간의 균형을 맞춘다. 휴리스틱 탐색을 통해 고품질의 주석을 생성하여 추가적인 증분식 미세 조정을 통해 성능을 향상시킨다. 실험 결과, KBQA-o1은 제한된 주석 데이터를 가진 기존의 저자원 KBQA 방법들을 능가하며, Llama-3.1-8B 모델의 GrailQA F1 성능을 기존 최고 성능(GPT-3.5-turbo 기반, 48.5%) 보다 높은 78.5%까지 향상시켰음을 보여준다. 소스 코드는 공개적으로 이용 가능하다.
시사점, 한계점
•
시사점:
◦
제한된 주석 데이터로도 높은 성능을 달성하는 저자원 KBQA 방법을 제시하였다.
◦
MCTS를 활용하여 효율성과 효과의 균형을 이룬 새로운 KBQA 아키텍처를 제안하였다.
◦
Llama-3.1-8B와 같은 상대적으로 작은 LLM을 사용하여 기존 최고 성능을 능가하는 결과를 달성하였다.
◦
생성된 고품질 주석 데이터를 통해 추가적인 성능 향상이 가능하다.
◦
공개된 소스 코드를 통해 재현성을 확보하고, 추가 연구를 위한 기반을 마련하였다.
•
한계점:
◦
MCTS의 계산 복잡도가 높을 수 있다는 점은 향후 개선이 필요한 부분이다.
◦
다양한 크기와 종류의 지식베이스에 대한 일반화 성능 평가가 추가적으로 필요하다.
◦
휴리스틱 함수의 설계에 따라 성능이 영향을 받을 수 있으므로, 더욱 효과적인 휴리스틱 함수 개발이 중요하다.
◦
특정 LLM에 대한 의존성이 존재할 수 있으며, 다양한 LLM에 대한 적용성 검증이 필요하다.
