Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Model-based controller assisted domain randomization in deep reinforcement learning: application to nonlinear powertrain control

Created by
  • Haebom
Category
Empty

저자

Heisei Yonezawa, Ansei Yonezawa, Itsuro Kajiwara

개요

본 논문은 차량 파워트레인과 같이 복잡하고 비선형적인 기계 시스템의 제어 문제를 해결하기 위해 심층 강화 학습(DRL) 기반의 새로운 강인 제어 방법을 제안합니다. 기존 강인 제어의 한계를 극복하기 위해 도메인 랜덤화 기반 DRL, LSTM 기반 actor-critic 네트워크, 그리고 모델 기반 제어(MBC)를 결합하는 전략을 사용합니다. 불확실성과 비선형성을 고려한 잠재 마르코프 의사결정 과정(LMDP)을 이용하여 문제를 모델링하고, 훈련 중 시뮬레이터의 동역학을 무작위화하여 실제 환경에 대한 제어 시스템의 강인성을 향상시킵니다. 모델 기반 제어기를 병행하여 사용함으로써 훈련의 어려움과 제어 시스템의 보수성을 완화하고, 기존 DRL 기반 제어에 비해 더 작은 신경망 구조와 적은 훈련 데이터로 높은 일반화 성능을 달성합니다. 비선형성과 파라미터 변화를 포함하는 복잡한 파워트레인 시스템의 능동 감쇠에 대한 실제 적용을 통해 제안된 방법의 강인성을 검증하고, 비교 실험을 통해 우수성을 보여줍니다.

시사점, 한계점

시사점:
복잡한 비선형 시스템에 대한 강인 제어 문제에 효과적인 새로운 DRL 기반 접근법 제시
도메인 랜덤화, LSTM, MBC의 시너지 효과를 통한 높은 일반화 성능 및 강인성 확보
작은 신경망 구조와 적은 훈련 데이터로 효율적인 제어 시스템 구현 가능성 제시
실제 파워트레인 시스템에 대한 적용을 통해 실용성 검증
한계점:
LMDP 모델링의 적용 범위 및 한계에 대한 추가적인 연구 필요
도메인 랜덤화의 효율적인 전략 및 범위 설정에 대한 추가 연구 필요
제안된 방법의 계산 비용 및 실시간 구현 가능성에 대한 추가적인 평가 필요
다양한 유형의 비선형성 및 불확실성에 대한 일반화 성능의 추가적인 검증 필요
👍