본 논문은 강화학습(RL) 연구를 위한 위상수학적 기초를 상태, 행동, 정책 공간의 구조에 초점을 맞춰 검토합니다. 완비 거리 공간과 같은 핵심 수학적 개념을 상기시키면서 RL 문제를 표현하는 기초를 다집니다. 바나흐 수축 원리를 활용하여 바나흐 고정점 정리가 RL 알고리즘의 수렴을 어떻게 설명하는지, 그리고 바나흐 공간 상의 연산자로 표현된 벨만 연산자가 이 수렴을 어떻게 보장하는지 설명합니다. 이 연구는 이론 수학과 실제 알고리즘 설계 사이의 다리를 놓아 RL의 효율성을 높이는 새로운 접근 방식을 제공합니다. 특히, 벨만 연산자의 대안적인 공식을 조사하고 MountainCar, CartPole, Acrobot과 같은 표준 RL 환경에서 수렴 속도와 성능 향상에 미치는 영향을 보여줍니다. 연구 결과는 RL에 대한 더 깊은 수학적 이해가 의사결정 문제에 대한 더 효과적인 알고리즘으로 이어질 수 있음을 강조합니다.
