Structured Agent Distillation for Large Language Model
Created by
Haebom
저자
Jun Liu, Zhenglun Kong, Peiyan Dong, Changdi Yang, Tianqi Li, Hao Tang, Geng Yuan, Wei Niu, Wenbin Zhang, Pu Zhao, Xue Lin, Dong Huang, Yanzhi Wang
개요
본 논문은 ReAct 프레임워크처럼 추론과 행동을 교차적으로 수행하는 의사결정 에이전트로서의 강력한 능력을 보이는 대규모 언어 모델(LLM)의 높은 추론 비용과 큰 모델 크기 문제를 해결하기 위해, 구조화된 에이전트 증류(Structured Agent Distillation) 프레임워크를 제안합니다. 기존 토큰 단위 증류와 달리, 궤적을 {[REASON]} 및 {[ACT]} 구간으로 나누고, 각 구성 요소를 교사 모델의 행동과 정렬시키기 위해 구간별 손실을 적용합니다. 이 구조 인식 감독을 통해 소형 에이전트가 교사 모델의 의사 결정 과정을 더 잘 복제할 수 있습니다. ALFWorld, HotPotQA-ReAct, WebShop에 대한 실험 결과, 제안된 방법이 토큰 수준 및 모방 학습 기준 모델을 꾸준히 능가하며, 성능 저하를 최소화하면서 상당한 압축을 달성함을 보여줍니다. 확장 및 제거 실험은 효율적이고 배포 가능한 에이전트를 위한 구간 수준 정렬의 중요성을 더욱 강조합니다.
시사점, 한계점
•
시사점:
◦
대규모 언어 모델 기반 에이전트의 효율적인 압축 방법을 제시합니다.
◦
구조화된 증류를 통해 LLM 에이전트의 성능 저하 없이 모델 크기를 줄일 수 있음을 보여줍니다.
◦
구간별 손실 함수의 효과를 실험적으로 검증합니다.
◦
효율적이고 배포 가능한 LLM 기반 에이전트 개발에 기여합니다.
•
한계점:
◦
제안된 방법의 일반성에 대한 추가적인 연구가 필요합니다. (다양한 LLM 및 작업에 대한 확장성 검증)
◦
특정한 작업 및 데이터셋에 대한 결과이므로, 다른 환경에서의 성능을 평가해야 합니다.
◦
{[REASON]} 및 {[ACT]} 구간의 분할 기준에 대한 추가적인 고찰이 필요할 수 있습니다.
