Automatic Cognitive Task Generation for In-Situ Evaluation of Embodied Agents

Created by

Haebom

저자

Xinyi He, Ying Yang, Chuanjian Fu, Sihan Guo, Songchun Zhu, Lifeng Fan, Zhenliang Zhang, Yujia Peng

💡 개요

본 논문은 실제 환경에 배포될 지능형 에이전트의 평가를 위해, 3D 환경에 특화된 동적이고 자동화된 인-시튜(in-situ) 작업 생성 방법을 제안합니다. 인간의 인지 과정에서 영감을 받아, 에이전트가 환경과 상호작용하며 새로운 작업을 지속적으로 생성하고, 기존 작업을 재활용하여 효율적인 작업 생태계를 구축하는 TEA(Task Evolution Architecture) 시스템을 개발했습니다. 실험 결과, TEA는 물리적으로 타당하고 일상적인 인지 능력을 포괄하는 다수의 작업을 자동으로 생성했으며, 최신 에이전트 모델들이 공개 벤치마크에서는 우수했지만 인-시튜 작업에서는 기본적인 지각 능력 부족, 3D 상호작용 인식 미흡, 추론 시 작업 유형 민감성 등의 문제를 보였습니다.

🔑 시사점 및 한계

•

실제 환경 적응력 평가의 중요성 강조: 공개 벤치마크의 한계를 극복하고 실제 환경에 배포될 에이전트의 진정한 성능을 평가하기 위해서는 동적이고 환경 특화적인 인-시튜 평가가 필수적임을 시사합니다.

•

인간 인지 기반의 자동화된 작업 생성 가능성 제시: 인간의 인지 과정을 모방한 시스템을 통해 외부 데이터 없이도 복잡하고 현실적인 인지 과제를 효율적으로 생성할 수 있음을 보여줍니다.

•

현재 에이전트 모델의 현실 세계 적용 가능성에 대한 경고: 현재 최첨단 모델들이 실제 환경에서 요구되는 기본적인 지각 및 3D 상호작용 능력에 현저히 부족함을 드러내, 실제 환경 배포 전에 보다 철저한 검증과 개선이 필요함을 시사합니다.

•

한계점: 생성된 작업의 다양성과 난이도를 더욱 정교하게 제어하는 메커니즘, 그리고 인간 검증 외에 자동화된 작업 품질 평가 방법에 대한 연구가 필요합니다.

PDF 보기

Made with Slashpage