Action Without Interaction: Probing the Physical Foundations of Video LMMs via Contact-Release Detection

Fri, 10 Apr 2026 08:44:03 GMT

### 저자

Daniel Harari, Michael Sidorov, Chen Shterental, Liel David, Abrham Kahsay Gebreselasie, Muhammad Haris Khan

### 💡 개요

본 연구는 대규모 멀티모달 모델(LMM)이 비디오 입력에서 물리적 상호작용을 얼마나 잘 이해하는지 탐구합니다. 이를 위해 2만 건 이상의 접촉 및 분리 상호작용 이벤트를 포함하는 새로운 대규모 데이터셋을 구축하고, GPT, Gemini, Qwen과 같은 최신 LMM이 비디오에서 이러한 물리적 이벤트의 시작 또는 끝 시점을 정확히 탐지하는 능력을 평가했습니다. 실험 결과, LMM이 객체와 행동을 잘 인식함에도 불구하고 물리적 상호작용의 구체적인 시작/종료 시점을 탐지하는 데 실패하며, 이는 물리적 근거가 부족한 '지름길 학습' 경향을 시사합니다.

### 🔑 시사점 및 한계

- LMM은 객체 명명 및 행동 인지에는 뛰어나지만, 물리적 상호작용의 시간적, 공간적 근거를 파악하는 데는 한계를 보입니다.

- 현재 LMM은 직관적인 패턴 인식(System 1)에는 능숙하나, '접촉' 및 '분리'와 같은 물리적 개념에 대한 추론(System 2) 능력은 부족합니다.

- 향후 연구는 LMM의 물리적 이해 능력을 향상시키기 위한 새로운 모델 아키텍처 또는 학습 방법론 개발에 초점을 맞춰야 합니다.

[PDF 보기](https://arxiv.org/pdf/2511.20162)