본 논문은 오프라인-온라인 학습 환경, 특히 확률적 유한 팔 밴딧 문제에 초점을 맞추고 있습니다. 오프라인-온라인 학습에서 학습자는 학습자가 통제할 수 없는 방식으로 알려지지 않은 환경과의 상호 작용에서 수집된 오프라인 데이터로 시작합니다. 학습자는 이 데이터를 바탕으로 환경과 상호 작용을 시작하고, 더 많은 데이터를 수집함에 따라 초기 전략을 점진적으로 개선하여 총 보상을 극대화합니다. 이러한 설정에서 학습자는 근본적인 딜레마에 직면합니다. 정책이 짧은 기간 동안만 배포되는 경우, 적절한 전략은 비관주의에 기반한 Lower Confidence Bound (LCB) 알고리즘입니다. LCB는 오프라인 데이터에 의해 충분히 "커버"되는 모든 정책과 효과적으로 경쟁할 수 있습니다. 그러나 더 긴 시간 지평의 경우, 낙관주의에 기반한 Upper Confidence Bound (UCB) 알고리즘이 더 나은 전략입니다. 시간이 지남에 따라 UCB는 모든 온라인 알고리즘 중에서 거의 최상의 속도로 최적 정책의 성능에 수렴합니다. 그러나 오프라인-온라인 학습에서 UCB는 초기 단계에서 과도하게 탐색하여 LCB와 비교하여 단기 성능이 저하됩니다. 이는 정책이 얼마나 오랫동안 사용될지 통제할 수 없는 학습자는 짧은 시간 지평 동안 LCB로 시작하여 더 많은 라운드가 진행됨에 따라 UCB와 유사한 전략으로 점진적으로 전환해야 함을 시사합니다. 본 논문은 이러한 전환이 어떻게 그리고 왜 발생해야 하는지 탐구합니다. 주요 결과는 새로운 알고리즘이 어떤 시점에서든 LCB와 UCB 중 더 나은 알고리즘과 거의 동등한 성능을 발휘함을 보여줍니다. 알고리즘의 핵심 아이디어는 광범위하게 적용 가능하며, 본 논문의 결과는 다중 팔 밴딧 설정을 넘어 확장될 것으로 예상합니다.
