본 논문은 인간 지능의 핵심인 추상적이고 조합 가능한 개념 형성, 환경에 대한 기반 설정, 그리고 이러한 기반 개체에 대한 추론 능력을 기계 학습 모델에 구현하고자 하는 연구이다. 이를 위해 시각 장면에서 추출된 슬롯 표현이 기반 설정 및 추론을 위한 적절한 조합적 추상화 역할을 하는지 조사한다. Neural Slot Interpreter (NSI)라는 모델을 제시하며, 이는 객체 의미를 슬롯에 기반 설정하는 것을 학습한다. NSI의 핵심은 중첩된 스키마로, 간단한 구문 규칙을 사용하여 장면의 객체 의미를 객체 중심 스키마 기본 요소로 구성한다. 구조화된 대조 학습 목표를 통해 기본 요소를 슬롯에 기반 설정하는 NSI 메트릭을 학습하며, 양방향 객체-속성 및 장면 검색 작업을 통해 기반 설정 효과 및 해석 가능성을 입증한다. NSI 슬롯은 기존의 경계 상자 기반 접근 방식보다 향상된 시각적 기반 설정을 제공하며, 적은 양의 주석 데이터로 더 일반화 가능한 표현을 학습한다는 것을 실험적으로 검증한다. 또한, 기반 설정된 슬롯이 비지도 학습 기반 슬롯보다 실제 객체 발견에서 우수하며, 장면 복잡도에 따라 확장 가능함을 보여준다. 마지막으로, 기반 설정 인식 NSI 토큰화기를 사용하여 훈련된 비전 트랜스포머가 소량의 토큰만으로도 어려운 몇 가지 샷 분류 작업에서 패치 기반 토큰보다 성능이 우수함을 보여준다.
