CODE-SHARP: Continuous Open-ended Discovery and Evolution of Skills as Hierarchical Reward Programs

Created by

Haebom

저자

Richard Bornemann, Pierluigi Vito Amadori, Antoine Cully

💡 개요

본 논문은 AI 에이전트가 사전에 정의된 보상 함수 없이도 새롭고 복잡한 기술을 지속적으로 발견하고 학습할 수 있도록 하는 CODE-SHARP 프레임워크를 제안한다. CODE-SHARP는 파운데이션 모델(FM)을 활용하여 실행 가능한 보상 함수로 구성된 계층적 기술 아카이브를 확장 및 개선하며, 이를 통해 에이전트는 Craftax 환경에서 점진적으로 더 어려운 과제를 해결하도록 훈련된다. 결과적으로, CODE-SHARP는 기존 방식보다 훨씬 뛰어난 성능으로 복잡한 장기 과제를 해결하는 에이전트를 생성한다.

🔑 시사점 및 한계

•

새로운 기술 발견 및 계층적 학습 능력: CODE-SHARP는 수동 보상 함수 설계의 한계를 극복하고, 파운데이션 모델과 결합하여 AI 에이전트가 스스로 새롭고 계층적인 기술을 발견하고 학습할 수 있는 가능성을 보여준다.

•

복잡한 장기 과제 해결 능력 향상: 발견된 기술들의 효과적인 조합은 에이전트가 인간이 설계한 전문가 정책이나 기존 사전 훈련된 에이전트보다 훨씬 뛰어난 성능을 보이도록 한다.

•

일반화 및 확장성: 제안된 프레임워크는 Craftax 환경에 국한되지 않고, 향후 더 넓은 범위의 복잡한 과제와 환경으로 확장될 수 있는 잠재력을 가진다.

•

파운데이션 모델의 의존성 및 계산 복잡성: CODE-SHARP는 파운데이션 모델에 크게 의존하므로, 모델의 성능과 학습 효율성에 따라 전체 시스템의 성능이 결정될 수 있다. 또한, 기술의 발견 및 진화 과정에서 상당한 계산 자원이 요구될 수 있다.

PDF 보기

Made with Slashpage