Sign In

The Lighthouse of Language: Enhancing LLM Agents via Critique-Guided Improvement

Created by
  • Haebom
Category
Empty

저자

Ruihan Yang, Fanghua Ye, Jian Li, Siyu Yuan, Yikai Zhang, Zhaopeng Tu, Xiaolong Li, Deqing Yang

개요

본 논문은 대규모 언어 모델(LLM) 기반 에이전트의 의사 결정 능력을 향상시키기 위해, 자연어 피드백을 활용하는 새로운 프레임워크인 Critique-Guided Improvement (CGI)를 제안한다. CGI는 액터 모델과 상세한 자연어 피드백을 생성하는 크리틱 모델로 구성된 2-플레이어 프레임워크이다. 크리틱 모델은 세밀한 평가와 실행 가능한 수정 사항을 생성하도록 훈련되며, 액터 모델은 이러한 비평을 활용하여 대안 전략을 탐색하고 지역 최적값을 회피한다. 세 가지 인터랙티브 환경에서 실험한 결과, CGI는 기존 기준선을 크게 능가하며, 작은 크기의 크리틱 모델조차 GPT-4보다 높은 품질의 피드백을 제공했다.

시사점, 한계점

•
시사점:
◦
LLM 기반 에이전트의 의사 결정 능력 향상을 위한 새로운 프레임워크 제시 (CGI).
◦
자연어 피드백을 활용하여 풍부하고 실행 가능한 지침 제공.
◦
액터-크리틱 구조를 통해 보다 강력한 전략 탐색 유도 및 지역 최적값 회피.
◦
작은 크기의 크리틱 모델도 효과적인 피드백 생성 가능.
◦
세 가지 인터랙티브 환경에서 기존 방식 대비 우수한 성능 입증.
•
한계점:
◦
구체적인 환경 및 설정에 대한 정보 부족.
◦
다른 LLM 기반 에이전트와의 일반적인 비교에 대한 정보 부족.
◦
크리틱 모델 훈련 방식 및 비용에 대한 정보 부족.
👍
Made with Slashpage