Sign In

SOPE: Stabilizing Off-Policy Evaluation for Online RL with Prior Data

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Carlo Romeo, Girolamo Macaluso, Alessandro Sestini, Andrew D. Bagdanov

πŸ’‘ κ°œμš”

λ³Έ 논문은 κΈ°μ‘΄ 데이터(prior data)λ₯Ό ν™œμš©ν•˜μ—¬ 온라인 κ°•ν™”ν•™μŠ΅μ˜ ν›ˆλ ¨ 속도λ₯Ό λ†’μ΄λŠ” κ³Όμ •μ—μ„œ λ°œμƒν•˜λŠ” 계산 λΉ„μš©κ³Ό 닀단계 ν›ˆλ ¨μ˜ 단점을 ν•΄κ²°ν•˜κΈ° μœ„ν•΄ SOPE(Stabilizing Off-Policy Evaluation) μ•Œκ³ λ¦¬μ¦˜μ„ μ œμ•ˆν•©λ‹ˆλ‹€. SOPEλŠ” 앑터에 λ§žμΆ°μ§„ μ˜€ν”„ μ •μ±… 평가(OPE) μ‹ ν˜Έλ₯Ό ν™œμš©ν•˜μ—¬ μ˜€ν”„λΌμΈ ν›ˆλ ¨ λ‹¨κ³„μ˜ 길이λ₯Ό λ™μ μœΌλ‘œ μ‘°μ ˆν•˜λŠ” μžλ™ μ‘°κΈ° μ’…λ£Œ λ©”μ»€λ‹ˆμ¦˜μ„ λ„μž…ν•©λ‹ˆλ‹€. 이λ₯Ό 톡해 μˆ˜λ™ νŠœλ‹ 없이도 κ³Όλ„ν•œ 사전 지식 ν™œμš©μ΄λ‚˜ μ‹¬κ°ν•œ 과적합을 λ°©μ§€ν•˜λ©°, 벀치마크 μ‹€ν—˜μ—μ„œ μƒλ‹Ήν•œ μ„±λŠ₯ ν–₯상과 계산 νš¨μœ¨μ„± μ¦λŒ€λ₯Ό λ‹¬μ„±ν–ˆμŠ΅λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
적응적 ν›ˆλ ¨ μŠ€μΌ€μ€„μ˜ νš¨μœ¨μ„±: κ³ μ •λœ ν›ˆλ ¨ μŠ€μΌ€μ€„λ³΄λ‹€ λ™μ μœΌλ‘œ 평가 μ§€ν‘œμ— 따라 ν›ˆλ ¨ 단계λ₯Ό μ‘°μ ˆν•˜λŠ” 것이 μƒ˜ν”Œ 및 계산 νš¨μœ¨μ„±μ„ λͺ¨λ‘ λ†’μ΄λŠ” 데 νš¨κ³Όμ μž„μ„ μž…μ¦ν–ˆμŠ΅λ‹ˆλ‹€.
β€’
μžλ™ν™”λœ μ‘°κΈ° μ’…λ£Œ: μˆ˜λ™ νŠœλ‹ 없이도 졜적의 μ˜€ν”„λΌμΈ ν›ˆλ ¨ μ’…λ£Œ μ‹œμ μ„ μ°Ύμ•„ 사전 지식을 효과적으둜 ν™œμš©ν•˜κ³  과적합을 방지할 수 μžˆμŠ΅λ‹ˆλ‹€.
β€’
계산 λ³΅μž‘μ„±: OPE 평가λ₯Ό μœ„ν•œ 검증 데이터셋 λΆ„ν•  및 계산이 좔가적인 μ˜€λ²„ν—€λ“œλ₯Ό λ°œμƒμ‹œν‚¬ 수 있으며, λ‹€μ–‘ν•œ ν™˜κ²½ 및 λ³΅μž‘μ„±μ— λŒ€ν•œ μΌλ°˜ν™” μ„±λŠ₯ 검증이 μΆ”κ°€μ μœΌλ‘œ ν•„μš”ν•  수 μžˆμŠ΅λ‹ˆλ‹€.
πŸ‘
Made with Slashpage