Skill-SD: Skill-Conditioned Self-Distillation for Multi-turn LLM Agents

작성자

Haebom

카테고리

Empty

저자

Hao Wang, Guozhi Wang, Han Xiao, Yufeng Zhou, Yue Pan, Jichao Wang, Ke Xu, Yafei Wen, Xiaohu Ruan, Xiaoxin Chen, Honggang Qi

💡 개요

본 연구는 다중 턴 LLM 에이전트 학습의 낮은 샘플 효율성 문제를 해결하기 위해 Skill-SD라는 새로운 프레임워크를 제안한다. Skill-SD는 에이전트의 자체 궤적을 자연어 스킬로 요약하여 동적인 학습 지도 정보를 생성하고, 이를 활용하여 학생 모델이 효율적으로 학습하도록 돕는다. 제안된 기법은 기존 RL 기반 학습 방법론 대비 성능을 크게 향상시키는 것으로 나타났다.

🔑 시사점 및 한계

•

다중 턴 LLM 에이전트 학습에서 샘플 효율성을 획기적으로 개선할 수 있는 새로운 지도 학습 패러다임을 제시한다.

•

에이전트의 자체 경험을 활용한 동적 지도 정보 생성이 학습 안정성과 성능 향상에 효과적임을 입증한다.

•

제안된 기법의 일반화 가능성 및 다양한 에이전트 태스크에 대한 적용 가능성에 대한 추가 연구가 필요하다.

PDF 보기

Made with Slashpage