Sign In

Building Autonomous GUI Navigation via Agentic-Q Estimation and Step-Wise Policy Optimization

Created by
  • Haebom
Category
Empty

μ €μž

Yibo Wang, Guangda Huzhang, Yuwei Hu, Yu Xia, Shiyin Lu, Qing-Guo Chen, Zhao Xu, Weihua Luo, Kaifu Zhang, Lijun Zhang

πŸ’‘ κ°œμš”

λ³Έ 논문은 λ©€ν‹°λͺ¨λ‹¬ λŒ€κ·œλͺ¨ μ–Έμ–΄ λͺ¨λΈ(MLLM) 기반 GUI μ—μ΄μ „νŠΈκ°€ λΉ„μ •ν˜• ν™˜κ²½μ—μ„œ κ²ͺλŠ” 높은 계산 λΉ„μš© 문제λ₯Ό ν•΄κ²°ν•˜κΈ° μœ„ν•΄ μƒˆλ‘œμš΄ ν”„λ ˆμž„μ›Œν¬λ₯Ό μ œμ•ˆν•©λ‹ˆλ‹€. μ œμ•ˆλœ ν”„λ ˆμž„μ›Œν¬λŠ” μ•‘μ…˜μ˜ 기여도λ₯Ό ν‰κ°€ν•˜λŠ” Q-λͺ¨λΈκ³Ό 이λ₯Ό ν™œμš©ν•œ 단계별 μ •μ±… μ΅œμ ν™”λ‘œ κ΅¬μ„±λ˜λ©°, μ—μ΄μ „νŠΈ 슀슀둜 데이터λ₯Ό μˆ˜μ§‘ν•˜κ³  μ •μ±… μ—…λ°μ΄νŠΈλ₯Ό ν™˜κ²½κ³Ό λΆ„λ¦¬ν•˜μ—¬ 효율적인 ν•™μŠ΅μ„ κ°€λŠ₯ν•˜κ²Œ ν•©λ‹ˆλ‹€. 이λ₯Ό 톡해 Ovis2.5-9B λͺ¨λΈμ€ GUI λ„€λΉ„κ²Œμ΄μ…˜ 및 κ·ΈλΌμš΄λ”© λ²€μΉ˜λ§ˆν¬μ—μ„œ λ›°μ–΄λ‚œ μ„±λŠ₯을 λ‹¬μ„±ν–ˆμŠ΅λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
MLLM 기반 GUI μ—μ΄μ „νŠΈμ˜ ν•™μŠ΅ νš¨μœ¨μ„±μ„ 크게 ν–₯μƒμ‹œν‚€λŠ” μƒˆλ‘œμš΄ ν”„λ ˆμž„μ›Œν¬λ₯Ό μ œμ‹œν•©λ‹ˆλ‹€.
β€’
μ—μ΄μ „νŠΈ 슀슀둜 데이터λ₯Ό μƒμ„±ν•˜κ³  μ •μ±… ν•™μŠ΅μ„ μ΅œμ ν™”ν•˜μ—¬ μ‹€μ œ ν™˜κ²½μ—μ„œμ˜ 적용 κ°€λŠ₯성을 λ†’μž…λ‹ˆλ‹€.
β€’
μ œμ•ˆλœ 방법이 더 λ³΅μž‘ν•˜κ³  동적인 GUI ν™˜κ²½μ—μ„œ μ–Όλ§ˆλ‚˜ νš¨κ³Όμ μΌμ§€μ— λŒ€ν•œ 좔가적인 검증이 ν•„μš”ν•©λ‹ˆλ‹€.
πŸ‘
Made with Slashpage