Residual Reinforcement Learning for Robot Teleoperation under Stochastic Delays

작성자

Haebom

카테고리

Empty

저자

Kaize Deng, Zewen Yang

💡 개요

본 논문은 로봇 원격 조종 시 발생하는 확률적 통신 지연 문제를 해결하기 위해 LSTM 기반 상태 추정기와 잔여 강화 학습 정책을 결합한 "지연 내성 강화 학습(delay-resilient RL)" 프레임워크를 제안합니다. 이 방법은 지연된 관측값으로부터 부드럽고 연속적인 상태 추정을 재구성하여, 높은 변동성을 가진 지연 환경에서도 안정적이고 정확한 원격 조종이 가능하도록 합니다. 실험 결과, 제안하는 접근 방식은 최신 기술 대비 우수한 성능을 보이며 높은 변동성의 확률적 지연에서도 강건하고 안정적인 원격 조종을 보장했습니다.

🔑 시사점 및 한계

•

확률적 통신 지연이 로봇 원격 조종의 안정성에 미치는 부정적 영향을 효과적으로 완화할 수 있습니다.

•

LSTM을 활용한 상태 추정은 지연된 관측값으로부터 부드러운 상태 정보를 제공하여 강화 학습 정책의 학습 효율성을 높입니다.

•

제안된 잔여 강화 학습 정책은 추적 정확도와 속도 부드러움 간의 균형을 맞추어 사용자 경험을 향상시킵니다.

•

본 연구는 고정밀 또는 실시간성이 매우 중요한 극한 환경에서의 성능 검증에 대한 추가적인 연구가 필요합니다.

PDF 보기

Made with Slashpage