본 논문은 다중 모달 대규모 언어 모델(MLLM)에 능동적 지각(active perception) 능력을 부여하는 방법을 제시합니다. 기존의 GPT-o3 모델의 줌-인 전략이 능동적 지각의 특수한 경우임을 지적하며, 낮은 검색 효율과 부정확한 영역 선택 문제를 해결하기 위해 강화 학습 기반의 ACTIVE-O3 프레임워크를 제안합니다. ACTIVE-O3은 일반적인 오픈 월드 작업(작은 물체 및 밀집 물체 접지)과 원격 감지, 자율 주행, 정밀 상호 작용 분할과 같은 도메인별 시나리오에서 평가를 위한 종합적인 벤치마크를 제공합니다. 또한, V* 벤치마크에서 명시적인 추론 데이터 없이 강력한 제로샷 추론 능력을 보여줍니다. 본 논문은 MLLM에서 능동적 지각에 대한 향후 연구를 촉진하기 위한 간단한 코드베이스와 평가 프로토콜을 제공하고자 합니다.
