Human-Like Coarse Object Representations in Vision Models

Created by

Haebom

저자

Andrey Gizdov, Andrea Procopio, Yichen Li, Daniel Harari, Tomer Ullman

💡 개요

본 논문은 인간이 물체를 물리적 상호작용을 위해 상세한 시각적 정보 대신 덩어리진 형태로 표현한다는 가설을 탐구합니다. 연구자들은 시각 모델이 인간과 유사한 덩어리진 물체 표현을 획득하는지를 알아보고자, 시간-충돌(TTC) 행동 방식을 활용한 비교 파이프라인과 정렬 지표를 개발했습니다. 실험 결과, 모델 훈련 시간, 크기, 용량 등을 조절했을 때, 중간 정도의 훈련 및 크기를 가진 모델이 인간의 행동과 가장 잘 일치하는 "이상적인 덩어리" 표현을 나타냈습니다.

🔑 시사점 및 한계

•

인간의 뇌는 제한된 자원에서 물리적 예측을 효율적으로 하기 위해 물체를 덩어리진 형태로 표현할 가능성이 높으며, 이는 자원 합리성 관점으로 설명될 수 있습니다.

•

시각 모델에서 인간과 유사한 물리 기반 표현을 얻기 위해 훈련 시간을 조절하거나, 모델 크기를 줄이거나, 가지치기(pruning)와 같은 간단한 조작이 효과적일 수 있습니다.

•

본 연구는 특정 종류의 객체와 행동 방식을 대상으로 하였으며, 다양한 객체 및 물리적 상황에 대한 인간의 덩어리진 표현 습득 과정을 더 폭넓게 탐구할 필요가 있습니다.

PDF 보기

Made with Slashpage