KAG-Thinker: Interactive Thinking and Deep Reasoning in LLMs via Knowledge-Augmented Generation
Created by
Haebom
저자
Dalong Zhang, Jun Xu, Jun Zhou, Lei Liang, Lin Yuan, Ling Zhong, Mengshu Sun, Peilong Zhao, QiWei Wang, Xiaorui Wang, Xinkai Du, YangYang Hou, Yu Ao, ZhaoYang Wang, Zhengke Gui, ZhiYing Yi, Zhongpu Bo
개요
KAG-Thinker는 경량 매개변수 대규모 언어 모델(LLM)을 기반으로 KAG를 다중 턴 상호 작용 사고 및 심층 추론 프레임워크로 업그레이드한 모델입니다. 복잡한 문제 해결을 위한 구조화된 사고 과정을 구축하여, 특정 도메인 지식 기반(KB) 상의 질의응답(Q&A) 작업에서 추론 과정의 논리적 일관성과 문맥 일관성을 향상시킵니다. KAG의 논리 형식(Logical Form) 기반 검색 및 추론 기술 경로를 따르며, 복잡한 질문을 폭넓은 분해(breadth decomposition)를 통해 독립적으로 해결 가능한 하위 문제(논리 형식)로 분해합니다. 각 논리 형식은 자연어와 논리 함수의 두 가지 동등한 형태로 표현되고, 지식 검색 또는 추론 분석 작업으로 분류됩니다. 이러한 작업 간의 의존성과 매개변수 전달은 논리 함수 인터페이스를 통해 명시적으로 모델링됩니다. 검색 함수는 지정된 지식 단위의 1단계 구조화 및 비구조화 정보를 검색합니다. 수학 및 연역 함수는 추론 분석 작업에 사용됩니다. 지식 검색 하위 문제 작업에서 LLM과 외부 지식 소스는 동등한 KB로 간주됩니다. 신뢰도 보정 및 반성적 추론과 같은 자기 조절 메커니즘을 사용하여 최적의 소스를 결정하는 지식 경계(knowledge boundary) 모듈과 지식 획득의 포괄성을 향상시키는 심층 해결(depth solving) 모듈을 사용합니다.
시사점, 한계점
•
시사점:
◦
경량 LLM 기반의 효율적인 다중 턴 상호 작용 추론 프레임워크 제시
◦
논리적 형식 기반의 구조적 사고 과정을 통한 추론 과정의 논리적 일관성 및 문맥 일관성 향상