ADAPT: Benchmarking Commonsense Planning under Unspecified Affordance Constraints

Created by

Haebom

저자

Pei-An Chen, Yong-Ching Liang, Jia-Fong Yeh, Hung-Ting Su, Yi-Ting Chen, Min Sun, Winston Hsu

💡 개요

본 논문은 지능형 로봇 에이전트가 실제 환경에서 발생하는 예상치 못한 상황에 대처하기 위해 객체의 조작 가능성(affordance)을 추론하고 이를 계획에 반영하는 능력의 중요성을 강조합니다. 이를 위해 동적 환경에서 객체별 조작 가능성이 명시되지 않은 상황을 평가하는 새로운 벤치마크인 DynAfford를 제안하고, 기존 계획 모듈에 조작 가능성 추론 기능을 추가하는 ADAPT라는 플러그 앤 플레이 모듈을 소개합니다. 실험 결과, ADAPT는 에이전트의 견고성과 작업 성공률을 크게 향상시켰으며, 특히 태스크에 맞게 미세 조정된 비전-언어 모델이 상용 LLM보다 조작 가능성 추론에서 더 나은 성능을 보임을 입증했습니다.

🔑 시사점 및 한계

•

지능형 에이전트의 실세계 적용을 위해서는 단순히 지시를 따르는 것을 넘어, 객체의 잠재적 기능(affordance)을 추론하고 이를 계획에 통합하는 능력이 필수적입니다.

•

DynAfford 벤치마크는 동적인 환경과 불명확한 조작 가능성 제약 하에서 에이전트의 계획 능력을 평가할 수 있는 새로운 기준을 제공합니다.

•

ADAPT 모듈은 기존 계획 시스템에 쉽게 통합되어 조작 가능성 추론 기능을 강화할 수 있으며, 이를 통해 에이전트의 견고성과 작업 성공률을 향상시킬 수 있습니다.

•

태스크에 특화된 비전-언어 모델을 조작 가능성 추론 백엔드로 활용하는 것이 범용 LLM보다 더 효과적일 수 있으며, 이는 조작 가능성 추론의 태스크 정렬(task-aligned)의 중요성을 시사합니다.

•

현재 연구는 아직 탐색되지 않은 조작 가능성(unseen affordances)에 대한 일반화 성능을 추가적으로 개선할 필요가 있습니다.

PDF 보기

Made with Slashpage