ToolSelf: Unifying Task Execution and Self-Reconfiguration via Tool-Driven Intrinsic Adaptation

Created by

Haebom

저자

Jingqi Zhou, Sheng Wang, DeZhao Deng, Junwen Lu, Junwei Su, Qintong Li, Jiahui Gao, Hao Wu, Jiyue Jiang, Lingpeng Kong, Chuan Wu

💡 개요

본 논문은 LLM 기반 에이전트가 정적인 구성으로 인해 발생하는 복잡한 장기 과제 수행의 어려움을 해결하기 위해 'ToolSelf'라는 새로운 패러다임을 제안합니다. ToolSelf는 구성 업데이트를 도구로 추상화하여 에이전트가 실행 중에 스스로를 재구성하도록 함으로써, 외부 규칙에서 내부 매개변수로의 전환을 이루어냅니다. 이를 통해 에이전트는 과제 진행에 따라 하위 목표와 맥락을 자율적으로 업데이트하고, 전략 및 도구 상자를 조정하여 과제 수행과 자기 관리의 이중 관리자로 변모합니다.

🔑 시사점 및 한계

•

동적 자기 적응 에이전트 가능성 제시: ToolSelf는 에이전트가 단순히 주어진 과제를 수행하는 것을 넘어, 과제 수행 과정에서 스스로의 구성과 전략을 동적으로 조정하는 능력을 부여하여 진정한 의미의 자기 적응 에이전트 시대를 열 수 있음을 보여줍니다.

•

기존 방법론의 한계 극복: 수동 조정이나 휴리스틱 기반 접근 방식의 일반화 성능 저하 및 파편화된 최적화 문제를 해결하고, 단일 액션 공간에서 과제 실행과 자기 조정을 통합하여 효율성을 높입니다.

•

새로운 훈련 방법론 (CAT) 제안: Rejection sampling fine-tuning과 trajectory-level reinforcement learning을 결합한 Configuration-Aware Two-stage Training (CAT) 방법을 통해 메타 능력을 내재화하는 방식을 구체적으로 제시합니다.

•

한계점 또는 향후 과제: 실제 복잡하고 예측 불가능한 실제 환경에서의 ToolSelf의 성능 검증 및 확장, 그리고 에이전트의 자기 재구성 과정에서의 잠재적인 오류 발생 가능성 및 이를 제어하기 위한 추가적인 연구가 필요할 수 있습니다.

PDF 보기

Made with Slashpage