본 논문은 인간과 유사하게 환경을 인지하고, 미래를 예측하며, 1인칭 관점에서 행동하는 에이전트 모델을 학습하는 문제를 다룹니다. 기존 방법들은 이러한 능력들을 개별적으로 학습하는 모델을 사용하여, 각 능력 간의 상호 관계를 포착하지 못하고 서로에게서 학습하는 것을 방지하는 한계를 가지고 있습니다. 본 논문에서는 인간의 지각-행동 루프를 통해 학습하는 방식에서 영감을 얻어, 단일 트랜스포머 내에서 표현, 예측, 행동을 동시에 학습하는 통합 에이전트 모델인 EgoAgent를 제안합니다. EgoAgent는 상태와 행동의 교차된 시퀀스로 과제를 공식화하여 이러한 능력 간의 인과적 및 시간적 의존성을 명시적으로 모델링합니다. 또한 시간적으로 비대칭적인 예측기와 관찰기 분기를 갖는 공동 임베딩-행동-예측 아키텍처를 도입하여 세 가지 기능 모두에 걸쳐 상승적 최적화를 가능하게 합니다. 이미지 분류, 자기중심 미래 상태 예측, 3D 인간 동작 예측과 같은 대표적인 작업에 대한 EgoAgent의 포괄적인 평가는 제안된 방법의 우수성을 보여줍니다. 코드와 훈련된 모델은 https://github.com/zju3dv/EgoAgent 에서 공개적으로 이용 가능합니다.
