Probing Embodied LLMs: When Higher Observation Fidelity Hurts Problem Solving

작성자

Haebom

카테고리

Empty

저자

Oussama Zenkri, Oliver Brock

💡 개요

본 연구는 로봇 시스템에 통합되는 LLM 에이전트의 의사 결정 과정을 탐구하기 위해, 관측 정보의 변화가 문제 해결 능력에 미치는 영향을 실증적으로 분석했습니다. 기계적 퍼즐인 Lockbox를 대상으로 RGB, RGB-D, 그리고 완벽한 기호 정보 등 다양한 관측 조건에서 LLM의 성능을 평가한 결과, 직관에 반하게도 가장 높은 성능은 원시 RGB 입력에서, 가장 낮은 성능은 완벽한 정보에서 나타났습니다. 시뮬레이션 실험에서 액션 결과에 의도적인 노이즈를 주었을 때, 일정 수준의 노이즈가 오히려 반복적인 액션 루프를 줄여 성능을 향상시키는 것을 확인했습니다.

🔑 시사점 및 한계

•

LLM 기반 로봇 에이전트의 성능 평가는 성공률만으로는 불충분하며, 관측 정보의 특성과 에이전트의 인지적 실패 상호작용을 고려해야 합니다.

•

인간이나 로봇 시스템에서 불완전하거나 노이즈가 있는 정보가 오히려 문제 해결에 긍정적인 영향을 미칠 수 있다는 가능성을 제시합니다.

•

본 연구의 결과는 특정 퍼즐 문제와 LLM 모델에 한정될 수 있으며, 다양한 문제와 모델에 대한 일반화 가능성을 추가적으로 탐구할 필요가 있습니다.

PDF 보기

Made with Slashpage