Representation over Routing: Overcoming Surrogate Hacking in Multi-Timescale PPO

작성자

Haebom

카테고리

Empty

저자

Jing Sun

💡 개요

본 연구는 강화학습에서 다중 시간 스케일 신호를 Actor-Critic 구조에 통합할 때 발생하는 알고리즘적 병폐를 규명합니다. 기존 연구들이 정책 경사도를 활용하거나 경사도 없는 불확실성 가중치를 사용할 경우 각각 '서로게이트 목표물 해킹'과 '회피 불가능한 근시안적 퇴화'를 야기함을 보였습니다. 이를 해결하기 위해 제안된 Target Decoupling 아키텍처는 Critic에서 다중 시간 스케일 예측을 통해 보조 표현 학습을 수행하고, Actor에서는 단기 신호를 엄격히 분리하여 장기적 이점만을 바탕으로 정책을 업데이트합니다.

🔑 시사점 및 한계

•

다중 시간 스케일 신호 통합 시 발생하는 '서로게이트 목표물 해킹' 및 '근시안적 퇴화' 현상을 명확히 규명했습니다.

•

제안된 Target Decoupling 아키텍처는 보조 표현 학습과 정책 업데이트를 분리하여 기존 문제점을 효과적으로 해결하고 통계적으로 유의미한 성능 향상을 이끌어냅니다.

•

LunarLander-v2 환경에서의 실험 결과, 제안된 방법은 '환경 해결' 기준을 일관되게 초과 달성하며, 정책 붕괴를 완전히 제거하고 단일 시간 스케일 기반선의 지역 최적점에 갇히는 문제를 탈피합니다.

•

제안된 아키텍처의 범용성 및 복잡하고 지연된 보상 환경에서의 일반화 성능 검증이 필요합니다.

PDF 보기

Made with Slashpage