본 논문은 강화학습에서 탐색을 개선하기 위한 매크로 액션 사용의 역설적인 측면을 다룹니다. 단순히 매크로 액션을 추가하는 것이 탐색을 개선하지 않고 오히려 악화시키는 경우가 많은데, 이는 비효율적인 매크로 액션 추가 때문이라는 주장이 있습니다. 본 연구는 이러한 어려움이 에피소드당 평균 의사결정 수 감소와 액션 공간 크기 증가 사이의 절충 때문이라고 주장합니다. 매크로 액션을 독립적이고 원자적인 것으로 취급하면 탐색 공간이 커지고 탐색 전략의 효율성이 떨어집니다. 따라서 본 논문에서는 액션과 매크로 액션 간의 관계를 활용하여 액션 공간의 유효 차원을 줄이고 탐색을 개선하는 새로운 정규화 항을 제안합니다. 이 항은 메타 학습을 통해 학습된 유사도 행렬에 의존하며, Atari 게임과 StreetFighter II 환경에서 Rainbow-DQN 기준 모델보다 성능이 크게 향상됨을 실험적으로 검증합니다. 또한 매크로 액션 유사도가 관련 환경에 전이될 수 있음을 보여줍니다. 본 연구는 액션 공간에 대한 유사성 기반 기하학적 구조를 활용하여 크레딧 할당 및 탐색을 개선하는 방법에 대한 이해를 높이는 데 기여합니다.
