Do Blind Spots Matter for Word-Referent Mapping? A Computational Study with Infant Egocentric Video
Created by
Haebom
Category
Empty
저자
Zekai Shi, Zhixi Cai, Kalin Stefanov
개요
본 논문은 아이가 처음 단어를 배우는 과정을 모방하여, 자기 지도 학습 기반의 시각 표현 학습 전략을 제안한다. 특히, 인간 눈의 맹점에 대한 지식을 활용한 새로운 마스킹 전략을 도입하여 생물학적 타당성을 높였다. 제안된 방법은 마스크된 오토인코더를 기반으로 하며, 사전 훈련된 인코더는 대비 학습 기반의 비디오-텍스트 모델에서 단어-지칭 매핑을 학습하는 데 사용된다.