본 논문은 대규모 블록 적재 창고에서 자율 이동 로봇의 충전 전략을 최적화하기 위한 새로운 강화 학습(RL) 설계를 제안합니다. 다양한 보상 및 행동 공간 구성(유연한 설정부터 도메인 정보가 포함된 안내된 구성까지)이 에이전트 성능에 미치는 영향을 중점적으로 연구합니다. 휴리스틱 충전 전략을 기준으로 하여, 유연한 RL 기반 접근 방식이 서비스 시간 측면에서 우수함을 보여줍니다. 또한, 개방적인 설계는 성능이 좋은 전략을 스스로 발견할 수 있지만 수렴 시간이 더 오래 걸리고 안정성이 떨어지는 반면, 안내된 구성은 더 안정적인 학습 과정을 제공하지만 일반화 잠재력이 더 제한적인 상호 작용을 강조합니다. 세 가지 기여는 다음과 같습니다. 첫째, 오픈소스 RL 호환 시뮬레이션 프레임워크인 SLAPStack을 충전 전략을 수용하도록 확장합니다. 둘째, 충전 전략 문제를 해결하기 위한 새로운 RL 설계를 제시합니다. 셋째, 여러 가지 새로운 적응형 기준 휴리스틱을 도입하고, 근위 정책 최적화 에이전트와 다양한 설계 구성(보상에 중점)을 사용하여 재현 가능하게 설계를 평가합니다.
