Sign In

Sign-Separated Finite-Time Error Analysis of Q-Learning

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Donghwan Lee

πŸ’‘ κ°œμš”

λ³Έ 논문은 μƒμˆ˜ μŠ€ν…μ‚¬μ΄μ¦ˆ Q-λŸ¬λ‹μ˜ λΆ€ν˜Έ 뢄리 μœ ν•œ μ‹œκ°„ 였차 뢄석을 μ œμ‹œν•©λ‹ˆλ‹€. Q-λŸ¬λ‹μ˜ 였차λ₯Ό ꡬ성 μš”μ†Œλ³„ μ–‘μˆ˜ 및 음수 λΆ€λΆ„μœΌλ‘œ λΆ„ν•΄ν•˜μ—¬ λΆ„μ„ν–ˆμœΌλ©°, 음수 뢀뢄은 졜적 정책에 κΈ°λ°˜ν•œ ν•˜ν•œ 비ꡐ μ„ ν˜• μ‹œλΆˆλ³€(LTI) μ‹œμŠ€ν…œμ— μ˜ν•΄ μ§€λ°°λ˜κ³  μ–‘μˆ˜ 뢀뢄은 μ„ ν˜• μŠ€μœ„μΉ­ μ‹œμŠ€ν…œμ— μ˜ν•΄ μ œμ–΄λ¨μ„ λ³΄μž…λ‹ˆλ‹€. 이 뢄석을 톡해 Q-λŸ¬λ‹ 였차 μ—­ν•™μ—μ„œ λ°œμƒν•˜λŠ” μ΅œλŒ€ μœ λ„ λΉ„λŒ€μΉ­μ„±μ„ 규λͺ…ν•˜κ³ , 이 λΉ„λŒ€μΉ­μ„±μ΄ κ³ΌλŒ€ν‰κ°€μ™€ 연관됨을 λ°ν˜€λƒ…λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
Q-λŸ¬λ‹μ˜ μœ ν•œ μ‹œκ°„ 였차 λΆ„μ„μ—μ„œ 였차의 μ–‘μˆ˜ 및 음수 뢀뢄을 λΆ„λ¦¬ν•˜μ—¬ λΆ„μ„ν•˜λŠ” μƒˆλ‘œμš΄ ν”„λ ˆμž„μ›Œν¬λ₯Ό μ œμ‹œν•©λ‹ˆλ‹€.
β€’
뢄석 κ²°κ³Ό, Q-λŸ¬λ‹μ˜ 였차 μ—­ν•™μ—μ„œ λ°œμƒν•˜λŠ” μ΅œλŒ€ μœ λ„ λΉ„λŒ€μΉ­μ„±μ΄ κ³ΌλŒ€ν‰κ°€μ™€ λ°€μ ‘ν•œ 관련이 μžˆμŒμ„ 이둠적으둜 μ„€λͺ…ν•©λ‹ˆλ‹€.
β€’
λ³Έ μ—°κ΅¬λŠ” μƒμˆ˜ μŠ€ν…μ‚¬μ΄μ¦ˆ Q-λŸ¬λ‹μ— λŒ€ν•œ μœ ν•œ μ‹œκ°„ 였차 κ²½κ³„μΉ˜λ₯Ό μ œκ³΅ν•˜λ©°, μ΄λŠ” μ•Œκ³ λ¦¬μ¦˜μ˜ 수렴 속도 및 μ„±λŠ₯ 이해에 κΈ°μ—¬ν•©λ‹ˆλ‹€.
β€’
ν–₯ν›„ μ—°κ΅¬μ—μ„œλŠ” κ°€λ³€ μŠ€ν…μ‚¬μ΄μ¦ˆ Q-λŸ¬λ‹ λ˜λŠ” 더 λ³΅μž‘ν•œ ν™˜κ²½μ—μ„œμ˜ 적용 및 ν™•μž₯ κ°€λŠ₯성을 탐ꡬ해야 ν•  κ²ƒμž…λ‹ˆλ‹€.
πŸ‘
Made with Slashpage