Toward Structured Knowledge Reasoning: Contrastive Retrieval-Augmented Generation on Experience
Created by
Haebom
저자
Jiawei Gu, Ziting Xian, Yuanzhen Xie, Ye Liu, Enjie Liu, Ruichao Zhong, Mochi Gao, Yunzhi Tan, Bo Hu, Zang Li
개요
대규모 언어 모델(LLM)은 일반 텍스트 작업에서는 우수한 성능을 보이지만, 표나 데이터베이스와 같은 구조화된 데이터에서는 성능이 저하됩니다. 이는 사전 훈련 중 구조화된 데이터 노출 부족과 텍스트-구조 변환 메커니즘의 경직성 때문입니다. 본 논문에서는 인간의 다양한 데이터 유형에 대한 학습 패턴 적용 능력을 모방하여 LLM의 구조화된 데이터 이해 능력을 향상시키는 Contrastive Retrieval-Augmented Generation on Experience (CoRE) 프레임워크를 제시합니다. CoRE는 경험 메모리 표현을 구축하고 대조적 In-Context Learning (ICL)을 통해 일반화 능력을 향상시켜 인간과 유사한 지식 전이를 시뮬레이션합니다. Text-to-SQL 및 TableQA 실험 결과, CoRE는 평균 3.44% 및 4.24%의 성능 향상을 보였으며, 어려운 작업에서는 최대 17.2%까지 향상되었습니다. Monte Carlo Tree Search (MCTS) 기반의 경험 메모리는 훈련 데이터를 8~9배 확장하여 다양성과 도메인 적용 범위를 향상시킵니다. 이 훈련이 필요 없는 지속적인 방법은 LLM을 구조화된 지식 전문가 수준으로 끌어올립니다.
시사점, 한계점
•
시사점:
◦
CoRE 프레임워크는 LLM의 구조화된 데이터 처리 능력을 향상시키는 효과적인 방법을 제시합니다.
◦
MCTS 기반 경험 메모리 생성을 통해 훈련 데이터의 다양성과 도메인 적용 범위를 확장할 수 있습니다.
