Sign In

R2-KG: General-Purpose Dual-Agent Framework for Reliable Reasoning on Knowledge Graphs

Created by
  • Haebom
Category
Empty

저자

Sumin Jo, Junseong Choi, Jiho Kim, Edward Choi

개요

본 논문은 지식 그래프(KG) 기반 추론을 위해 플러그 앤 플레이 방식의 이중 에이전트 프레임워크인 R2-KG를 제안합니다. R2-KG는 증거 수집을 담당하는 연산자(저용량 LLM)와 최종 판단을 내리는 감독자(고용량 LLM)의 두 역할로 추론을 분리하여, 고용량 LLM에 대한 의존성을 줄이고 비용 효율성을 높입니다. 또한, 충분한 증거가 수집될 때만 답을 생성하는 기권 메커니즘을 통해 신뢰성을 크게 향상시킵니다. 여러 KG 기반 추론 작업에 대한 실험 결과, R2-KG는 정확성과 신뢰성 측면에서 기존 방법들을 능가하며, 연산자로 사용되는 LLM의 성능에 관계없이 일관된 성능을 보입니다. 단일 에이전트 버전의 R2-KG는 엄격한 자기 일관성 전략을 통해 신뢰성을 더욱 높이고 추론 비용을 줄이지만, 복잡한 KG에서는 기권율이 높아지는 한계를 보입니다.

시사점, 한계점

시사점:
지식 그래프 기반 추론에서 고용량 LLM에 대한 의존도를 줄이고 비용 효율성을 높이는 새로운 프레임워크 R2-KG 제시
기권 메커니즘을 통해 추론의 신뢰성을 크게 향상
다양한 KG 및 작업에 대한 적응력이 뛰어난 유연한 시스템
연산자 LLM의 성능에 관계없이 일관된 성능을 보임
단일 에이전트 버전은 신뢰성을 높이고 비용을 절감하지만, 복잡한 KG에서 기권율 증가 가능성 제시
한계점:
단일 에이전트 버전의 R2-KG는 복잡한 KG에서 기권율이 높아짐
복잡한 KG에 대한 성능 향상을 위한 추가 연구 필요
👍