CoCoA: Collaborative Chain-of-Agents for Parametric-Retrieved Knowledge Synergy
Created by
Haebom
저자
Yi Jiang, Sendong Zhao, Jianbo Li, Haochun Wang, Lizhe Zhang, Yan Liu, Bing Qin
Collaborative Chain-of-Agents (CoCoA)
개요
Retrieval-Augmented Generation (RAG) 모델의 한계점을 극복하기 위해, 모델의 내재된 지식과 외부에서 검색된 지식 간의 시너지를 향상시키는 것을 목표로 하는 Collaborative Chain-of-Agents (CoCoA) 프레임워크를 제안합니다. CoCoA는 CoCoA-zero라는 다중 에이전트 RAG 프레임워크를 기반으로 하며, 조건부 지식 유도와 답변 추론을 수행합니다. CoCoA는 CoCoA-zero로부터 확장된 다중 에이전트 추론 궤적을 합성하여 LLM을 미세 조정하는 장기 체인 훈련 전략을 활용합니다. 이는 모델이 내재된 지식과 검색된 지식을 명시적으로 통합하고 공동으로 활용할 수 있도록 합니다.
시사점, 한계점
•
시사점:
◦
LLM의 지식 집약적 작업, 특히 개방형 도메인 QA 및 다중 홉 QA에서 기존 RAG 방법보다 우수한 성능을 보였습니다.
◦
모델의 내재된 지식과 검색된 지식 간의 시너지를 향상시킴으로써 RAG 방법의 효율성을 높였습니다.
◦
CoCoA-zero 및 CoCoA를 통해 다중 에이전트 RAG 프레임워크와 장기 체인 훈련 전략을 효과적으로 결합했습니다.
