최근의 비전-언어 모델(VLM)은 강력한 지각적 추론 능력을 보이지만, 테스트 시 새로운 작업에 직면했을 때 효율적으로 적응하는 데 어려움을 겪습니다. 이러한 격차를 해소하기 위해, 본 논문은 메타인지적 자기 갱신을 통해 테스트 시 학습, 적응 및 개선할 수 있는 프레임워크인 메타인지적 테스트 시점 추론(MCTR)을 제안합니다. MCTR은 인간의 메타인지 이중 구조에서 영감을 받아, 계층적 적응적 추론을 위한 전용 메모리 시스템을 갖춘 메타 레벨 및 객체 레벨 VLM 추론 모듈로 구성됩니다. 구체적으로, (1) 테스트 시점 관찰에서 작업 관련 규칙, 환경 패턴 및 행동-결과 관계를 자연어 설명으로 발견하고 저장하여 구조화된 메모리를 점진적으로 구축하는 메타 추론 모듈과 (2) 메모리에서 지식을 동적으로 검색하고 통합하여 상황 인식 지각 및 전략적 추론을 통해 최적의 행동을 결정하는 행동 추론 모듈로 구성됩니다. 행동 추론 모듈은 제안된 메타인지적 테스트 시점 강화 학습을 통해 정책을 지속적으로 업데이트하며, 지식 메모리가 진화함에 따라 적응합니다.
