Sign In

SB-TRPO: Towards Safe Reinforcement Learning with Hard Constraints

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Dominik Wagner, Ankit Kanwar, Luke Ong

πŸ’‘ κ°œμš”

μ•ˆμ „μ΄ μ€‘μš”ν•œ μ˜μ—­μ—μ„œ κ°•ν™”ν•™μŠ΅(RL) μ—μ΄μ „νŠΈλŠ” 제둜 μ½”μŠ€νŠΈ μ•ˆμ „ μ œμ•½μ„ λ§Œμ‘±μ‹œν‚€λ©΄μ„œλ„ μž‘μ—…μ„ μˆ˜ν–‰ν•΄μ•Ό ν•˜λŠ” κ³Όμ œκ°€ μžˆμŠ΅λ‹ˆλ‹€. 기쑴의 λͺ¨λΈ 프리(model-free) 방식은 μ•ˆμ „ μœ„λ°˜μ„ 거의 μ œλ‘œμ— κ°€κΉκ²Œ λ‹¬μ„±ν•˜μ§€ λͺ»ν•˜κ±°λ‚˜ μ§€λ‚˜μΉ˜κ²Œ 보수적이 λ˜λŠ” κ²½μš°κ°€ λ§Žμ•˜μŠ΅λ‹ˆλ‹€. λ³Έ 논문은 λΉ„μš© κ°μ†Œμ™€ 보상 κ°œμ„ μ„ λ™μ μœΌλ‘œ κ· ν˜• λ§žμΆ”λŠ”, μ—„κ²©ν•œ μ œμ•½ 쑰건이 μžˆλŠ” RL을 μœ„ν•œ 원칙적인 μ•Œκ³ λ¦¬μ¦˜μΈ Safety-Biased Trust Region Policy Optimisation (SB-TRPO)을 μ†Œκ°œν•©λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
SB-TRPOλŠ” 각 λ‹¨κ³„μ—μ„œ 보상 및 λΉ„μš© μžμ—° μ •μ±… 기울기(natural policy gradients)의 동적 볼둝 μ‘°ν•©(dynamic convex combination)을 톡해 μ—…λ°μ΄νŠΈν•˜μ—¬, 졜적의 λΉ„μš© κ°μ†Œ λΉ„μœ¨μ„ 보μž₯ν•˜λ©΄μ„œλ„ 남은 μ—…λ°μ΄νŠΈ μš©λŸ‰μ„ 보상 κ°œμ„ μ— μ‚¬μš©ν•©λ‹ˆλ‹€.
β€’
μ œμ•ˆλœ 방법은 κΈ°μšΈκΈ°κ°€ μ μ ˆν•˜κ²Œ 정렬될 λ•Œλ§ˆλ‹€ 보상을 κ°œμ„ ν•˜λ©΄μ„œλ„ μ•ˆμ „μ— λŒ€ν•œ κ΅­μ†Œμ  진보에 λŒ€ν•œ 곡식적인 보증을 μ œκ³΅ν•©λ‹ˆλ‹€.
β€’
ν‘œμ€€ 및 κΉŒλ‹€λ‘œμš΄ Safety Gymnasium νƒœμŠ€ν¬μ—μ„œμ˜ μ‹€ν—˜ κ²°κ³Ό, SB-TRPOλŠ” μ—„κ²©ν•œ μ œμ•½ 쑰건 ν•˜μ—μ„œ μ•ˆμ „κ³Ό μž‘μ—… μ„±λŠ₯의 μ΅œμƒμ˜ κ· ν˜•μ„ μΌκ΄€λ˜κ²Œ 달성함이 μž…μ¦λ˜μ—ˆμŠ΅λ‹ˆλ‹€.
πŸ‘
Made with Slashpage