PhysMem: Scaling Test-time Physical Memory for Robot Manipulation

Wed, 22 Apr 2026 08:27:19 GMT

### 저자

Haoyang Li, Yang You, Hao Su, Leonidas Guibas

### 💡 개요

본 논문은 로봇 조작에서 발생하는 물리적 특성 변화 문제를 해결하기 위해, 시험 시간 동안 물리적 상호작용을 통해 학습하는 메모리 프레임워크인 PhysMem을 제안합니다. PhysMem은 과거 경험을 바탕으로 가설을 생성하고, 새로운 상호작용을 통해 이를 검증하며, 검증된 지식을 미래 의사결정에 활용합니다. 이를 통해 모델 파라미터 업데이트 없이 변화하는 물리적 조건에 강건하게 대응하며 조작 성공률을 크게 향상시킵니다.

### 🔑 시사점 및 한계

- VLM 기반 로봇 플래너가 시험 시간 동안 물리적 상호작용을 통해 학습함으로써, 모델 재학습 없이도 동적으로 변화하는 물리적 환경에 효과적으로 적응할 수 있습니다.

- 가설 생성 및 검증 메커니즘은 단순히 과거 경험을 직접 적용하는 대신, 실제 환경과의 상호작용을 통해 보다 신뢰성 높은 물리적 지식을 습득하게 하여 조작 성공률을 높입니다.

- 제안된 PhysMem은 30분 동안의 지속적인 실험에서 성공률을 일관되게 향상시키는 성과를 보였으며, 이는 장시간 로봇 조작 작업에서의 유용성을 시사합니다.

- 제안된 방법론의 효율성을 더욱 광범위한 물리적 특성 및 복잡한 환경에 대해 평가하고, 학습된 물리적 지식을 다른 로봇 작업이나 로봇 시스템으로 이전하는 방안에 대한 연구가 필요합니다.

---

[PDF 보기](https://arxiv.org/pdf/2602.20323)