Human-like Object Grouping in Self-supervised Vision Transformers

작성자

Haebom

카테고리

Empty

저자

Hossein Adeli, Seoyoung Ahn, Andrew Luo, Mengmi Zhang, Nikolaus Kriegeskorte, Gregory Zelinsky

💡 개요

본 논문은 자기 지도 학습 기반 비전 모델이 인간과 유사한 객체 그룹핑 능력을 보이는지 탐구합니다. 이를 위해 고전적인 심리물리학 패러다임을 확장하여 인간 참여자가 객체 판단을 수행하는 행동 벤치마크를 구축하고, 다양한 비전 모델의 표현을 인간의 반응 시간과 비교합니다. 결과적으로 DINO 자기 지도 학습으로 훈련된 트랜스포머 기반 모델이 인간의 객체 인지 행동과 가장 높은 수준의 일치를 보였습니다.

🔑 시사점 및 한계

•

자기 지도 학습 기반 비전 모델, 특히 트랜스포머 아키텍처와 DINO 학습 목표를 사용한 모델이 인간과 유사한 객체 그룹핑 능력을 효과적으로 학습함을 보여줍니다.

•

표현의 객체 중심 구조가 인간의 객체 분할 행동을 예측하는 데 중요한 역할을 함을 입증합니다.

•

Gram 행렬 구조가 인간 행동과의 일치를 개선하는 데 기여하며, 이는 자기 지도 학습 모델의 특징 품질 향상과 연결됩니다.

•

본 연구는 인간의 객체 지각 메커니즘을 이해하는 데 있어 자기 지도 학습 비전 모델의 잠재력을 강조하지만, 실제 적용 가능한 인간 수준의 복잡한 객체 그룹핑을 완벽하게 모사하기에는 더 많은 연구가 필요합니다.

PDF 보기

Made with Slashpage