When Should a Robot Think? Resource-Aware Reasoning via Reinforcement Learning for Embodied Robotic Decision-Making
Created by
Haebom
Category
Empty
저자
Jun Liu, Pu Zhao, Zhenglun Kong, Xuan Shen, Peiyan Dong, Fan Yang, Lin Cui, Hao Tang, Geng Yuan, Wei Niu, Wenbin Zhang, Xue Lin, Gaowen Liu, Yanzhi Wang, Dong Huang
💡 개요
본 논문은 로봇이 언제 LLM 기반 추론을 호출하고, 어떤 추론 역할을 사용하며, 얼마나 많은 연산 예산을 할당해야 할지를 결정하는 문제에 주목합니다. 이를 해결하기 위해, 본 연구는 자원 인식 추론을 위한 강화 학습 기반 계층적 프레임워크인 RARRL을 제안합니다. RARRL은 현재 관찰, 실행 기록, 남은 자원을 바탕으로 추론을 적응적으로 조절하는 고수준 오케스트레이션 정책을 학습하여, 임무 성공률을 높이고 지연 시간을 줄이는 성과를 보입니다.
🔑 시사점 및 한계
•
로봇 시스템에서 LLM 추론의 효율적인 자원 관리가 중요하며, 이를 위한 적응적 제어 정책 학습의 필요성을 보여줍니다.
•
RARRL은 로봇의 의사 결정 과정에서 추론과 행동 실행 간의 균형을 맞추어 전반적인 시스템 성능을 향상시킬 수 있습니다.
•
현재 연구는 주로 ALFRED 벤치마크 환경에 국한되어 있으며, 실제 복잡하고 동적인 로봇 환경에서의 추가적인 검증이 필요합니다.
