Sign In

BAMI: Training-Free Bias Mitigation in GUI Grounding

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Borui Zhang, Bo Zhang, Bo Wang, Wenzhao Zheng, Yuhao Cheng, Liang Tang, Yiqiang Yan, Jie Zhou, Jiwen Lu

πŸ’‘ κ°œμš”

λ³Έ 논문은 GUI 기반 μž‘μ—… μˆ˜ν–‰μ— ν•„μˆ˜μ μΈ GUI grounding μ„±λŠ₯을 μ €ν•΄ν•˜λŠ” μ£Όμš” μ›μΈμœΌλ‘œ 높은 이미지 해상도와 λ³΅μž‘ν•œ μΈν„°νŽ˜μ΄μŠ€ μš”μ†Œλ₯Ό 지λͺ©ν•©λ‹ˆλ‹€. 이λ₯Ό ν•΄κ²°ν•˜κΈ° μœ„ν•΄, μ œμ•ˆν•˜λŠ” Bias-Aware Manipulation Inference (BAMI) 기법은 ν›ˆλ ¨ 없이도 coarse-to-fine 집쀑 및 후보 선택 λ“±μ˜ μ‘°μž‘μ„ 톡해 μ΄λŸ¬ν•œ 편ν–₯을 효과적으둜 μ™„ν™”ν•©λ‹ˆλ‹€. μ‹€ν—˜ κ²°κ³Ό, BAMIλŠ” λ‹€μ–‘ν•œ GUI grounding λͺ¨λΈμ˜ 정확도λ₯Ό 상당 λΆ€λΆ„ ν–₯μƒμ‹œμΌ°μœΌλ©°, 특히 TianXi-Action-7B λͺ¨λΈμ˜ ScreenSpot-Pro 벀치마크 정확도λ₯Ό 51.9%μ—μ„œ 57.8%둜 λŒμ–΄μ˜¬λ ΈμŠ΅λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
ν›ˆλ ¨ 없이도 GUI grounding λͺ¨λΈμ˜ 정확도λ₯Ό ν–₯μƒμ‹œν‚€λŠ” 효과적인 방법둠을 μ œμ‹œν–ˆμŠ΅λ‹ˆλ‹€.
β€’
이미지 해상도와 μΈν„°νŽ˜μ΄μŠ€ λ³΅μž‘μ„±μœΌλ‘œ μΈν•œ 편ν–₯을 λͺ…ν™•νžˆ 규λͺ…ν•˜κ³  해결책을 μ œμ‹œν•©λ‹ˆλ‹€.
β€’
λ‹€μ–‘ν•œ λͺ¨λΈ 및 νŒŒλΌλ―Έν„° μ„€μ •μ—μ„œ BAMI의 μ•ˆμ •μ„±κ³Ό νš¨κ³Όμ„±μ„ μž…μ¦ν–ˆμŠ΅λ‹ˆλ‹€.
β€’
μ œμ•ˆλœ 편ν–₯ μ™„ν™” 기법이 μ‹€μ œ λ³΅μž‘ν•œ GUI ν™˜κ²½μ—μ„œ μ–Όλ§ˆλ‚˜ 더 κ΄‘λ²”μœ„ν•˜κ²Œ 적용될 수 μžˆλŠ”μ§€μ— λŒ€ν•œ 좔가적인 연ꡬ가 ν•„μš”ν•©λ‹ˆλ‹€.
πŸ‘
Made with Slashpage