Yilin Guan, Wenyue Hua, Qingfeng Lan, Sun Fei, Dujian Ding, Devang Acharya, Chi Wang, William Yang Wang
개요
본 논문은 대규모 언어 모델 기반 에이전트의 배포에 있어 높은 지연 시간과 추론 비용 문제를 해결하기 위해 동적 예측 계획(DSP)이라는 비동기식 온라인 강화 학습 프레임워크를 제안합니다. DSP는 추가적인 사전 배포 준비 없이 손실 없는 가속화와 비용 절감을 동시에 달성하며, 종단 간 지연 시간과 비용을 함께 최적화하는 공동 목표를 명시적으로 사용합니다. 사용자는 단일 매개변수를 조정하여 빠른 응답, 저렴한 운영 또는 그 중간 지점을 선택할 수 있습니다. 두 가지 표준 에이전트 벤치마크 실험 결과, DSP는 가장 빠른 손실 없는 가속화 방법과 비슷한 효율성을 달성하면서 총 비용을 30%, 불필요한 비용을 최대 60%까지 줄이는 것으로 나타났습니다. 코드와 데이터는 깃허브(https://github.com/guanyilin428/Dynamic-Speculative-Planning)를 통해 공개됩니다.
시사점, 한계점
•
시사점:
◦
대규모 언어 모델 기반 에이전트의 지연 시간 및 추론 비용 문제를 효과적으로 해결하는 새로운 방법 제시.
◦
손실 없는 가속화와 비용 절감을 동시에 달성.
◦
사용자에게 지연 시간과 비용 간의 절충에 대한 제어권 제공.
◦
추가적인 사전 훈련 없이도 효과적인 성능 향상.
•
한계점:
◦
제안된 방법의 일반성 및 다양한 모델 및 작업에 대한 적용 가능성에 대한 추가적인 연구 필요.
