RCR-Router: Efficient Role-Aware Context Routing for Multi-Agent LLM Systems with Structured Memory
Created by
Haebom
저자
Jun Liu, Zhenglun Kong, Changdi Yang, Fan Yang, Tianqi Li, Peiyan Dong, Joannah Nanjekye, Hao Tang, Geng Yuan, Wei Niu, Wenbin Zhang, Pu Zhao, Xue Lin, Dong Huang, Yanzhi Wang
개요
본 논문은 다중 에이전트 대규모 언어 모델(LLM) 시스템의 효율적인 협업을 위한 새로운 라우팅 프레임워크인 RCR-Router를 제안합니다. 기존의 정적 또는 완전 컨텍스트 라우팅 전략의 한계를 극복하기 위해, RCR-Router는 각 에이전트의 역할과 작업 단계에 따라 의미적으로 관련된 메모리 하위 집합을 동적으로 선택하는 모듈식이고 역할 인식적인 접근 방식을 채택합니다. 이는 엄격한 토큰 예산을 준수하면서 이루어지며, 경량화된 점수 정책이 메모리 선택을 안내하고, 에이전트 출력은 공유 메모리 저장소에 반복적으로 통합되어 점진적인 컨텍스트 개선을 가능하게 합니다. 또한, LLM이 생성한 설명을 포착하는 Answer Quality Score 지표를 제시하여 모델 동작을 더 잘 평가합니다. HotPotQA, MuSiQue, 2WikiMultihop 세 가지 다중 홉 QA 벤치마크에 대한 실험 결과, RCR-Router는 토큰 사용량을 최대 30%까지 줄이면서 답변 품질을 유지하거나 향상시키는 것을 보여줍니다.
시사점, 한계점
•
시사점:
◦
다중 에이전트 LLM 시스템의 효율적인 협업을 위한 새로운 라우팅 프레임워크 RCR-Router 제시
◦
역할 인식적이고 동적인 메모리 라우팅을 통해 토큰 사용량 감소 및 답변 품질 유지 또는 향상
◦
LLM 생성 설명을 고려한 Answer Quality Score 지표 제안을 통한 평가 방식 개선
◦
구조화된 메모리 라우팅과 출력 인식 평가의 중요성 강조
•
한계점:
◦
제안된 RCR-Router의 성능은 특정 벤치마크에 국한된 실험 결과에 기반. 다양한 작업 및 데이터셋에 대한 추가적인 실험 필요
◦
Answer Quality Score 지표의 일반화 가능성 및 객관성에 대한 추가 연구 필요
