RCR-Router: Efficient Role-Aware Context Routing for Multi-Agent LLM Systems with Structured Memory
Created by
Haebom
저자
Jun Liu, Zhenglun Kong, Changdi Yang, Fan Yang, Tianqi Li, Peiyan Dong, Joannah Nanjekye, Hao Tang, Geng Yuan, Wei Niu, Wenbin Zhang, Pu Zhao, Xue Lin, Dong Huang, Yanzhi Wang
개요
본 논문은 다중 에이전트 대규모 언어 모델(LLM) 시스템의 효율적인 협업을 위한 새로운 경로 설정 프레임워크인 RCR-Router를 제안합니다. 기존의 정적 또는 전체 컨텍스트 경로 설정 전략의 한계(토큰 과다 소비, 불필요한 메모리 노출, 상호 작용 라운드 간 적응력 부족)를 극복하기 위해, RCR-Router는 각 에이전트의 역할과 작업 단계에 따라 의미적으로 관련된 메모리 하위 집합을 동적으로 선택하는 모듈식이고 역할 인식적인 접근 방식을 채택합니다. 경량화된 점수 정책을 통해 메모리 선택을 안내하고, 에이전트의 출력은 공유 메모리 저장소에 반복적으로 통합되어 컨텍스트를 점진적으로 개선합니다. 또한, 표준 QA 정확도를 넘어 LLM이 생성한 설명을 포착하는 Answer Quality Score 지표를 제안하여 모델 동작을 더 잘 평가합니다. HotPotQA, MuSiQue, 2WikiMultihop 세 가지 다중 홉 QA 벤치마크에 대한 실험 결과, RCR-Router는 토큰 사용량을 최대 30% 줄이면서 답변 품질을 유지하거나 개선하는 것을 보여줍니다.
시사점, 한계점
•
시사점:
◦
다중 에이전트 LLM 시스템의 효율적인 협업을 위한 새로운 접근 방식 제시 (RCR-Router).
◦
역할 인식 및 동적 메모리 경로 설정을 통해 토큰 사용량 감소 및 답변 품질 향상 달성.
◦
LLM 생성 설명의 질적 평가를 위한 새로운 지표 (Answer Quality Score) 제안.
◦
구조화된 메모리 경로 설정 및 출력 인식 평가의 중요성 강조.
•
한계점:
◦
제안된 Answer Quality Score 지표의 일반화 가능성 및 객관성에 대한 추가 연구 필요.
◦
다양한 종류의 다중 에이전트 LLM 과제에 대한 RCR-Router의 일반화 성능 검증 필요.
