본 논문은 대규모 언어 모델 기반 에이전트가 복잡한 환경에서 겪는 '태스크 부족' 문제를 해결하기 위해, 에이전트가 스스로 학습할 수 있는 태스크를 생성하는 프레임워크인 CuES를 제안한다. CuES는 환경 구조와 기능을 기반으로 다양한 태스크를 생성하며, 사전 정의된 태스크나 외부 데이터에 의존하지 않는다. Curiosity 기반 탐색, 상호작용 패턴의 추상화, 경량화된 상위 지침 및 메모리 기반 품질 관리를 통해 태스크를 생성하고 개선한다. AppWorld, BFCL, WebShop 환경에서 수동으로 제작된 데이터셋과 유사하거나 더 나은 성능을 보여주며, 에이전트의 정책 개선에 기여한다.