본 논문은 복잡한 다단계 질문을 처리하기 위해 관련 정보의 반복적인 검색을 대규모 언어 모델(LLM)에 제공하는 검색 증강 생성(RAG)의 최근 발전에 대해 다룹니다. 기존 방법들은 LLM 추론과 검색을 번갈아 가며 외부 정보를 LLM의 컨텍스트에 축적합니다. 하지만 컨텍스트가 계속 커짐에 따라 LLM이 중요 정보 간의 연결을 인지하는 데 부담이 증가하고, 비생산적인 추론 단계는 이러한 과부하 문제를 더욱 악화시킵니다. 본 논문에서는 KnowTrace라는 RAG 프레임워크를 제시하여 (1) 컨텍스트 과부하를 완화하고 (2) 더 높은 품질의 다단계 추론을 부트스트랩합니다. 검색된 내용을 단순히 쌓는 대신, KnowTrace는 입력 질문과 관련된 특정 지식 그래프를 구성하기 위해 원하는 지식 트리플렛을 자율적으로 추적합니다. 이러한 구조화된 워크플로는 LLM에 추론을 위한 명확한 컨텍스트를 제공할 뿐만 아니라, 프로세스 감독 데이터로 자체 부트스트랩을 위한 기여 LLM 생성을 식별하는 지식 역추적의 반성 메커니즘을 자연스럽게 유도합니다. 광범위한 실험 결과, KnowTrace는 세 가지 다단계 질문 답변 벤치마크에서 기존 방법을 일관되게 능가하며, 부트스트랩된 버전은 이점을 더욱 증폭시킵니다.
