Sign In

UI-Venus-1.5 Technical Report

Created by
  • Haebom
Category
Empty

μ €μž

Veuns-Team, :, Changlong Gao, Zhangxuan Gu, Yulin Liu, Xinyu Qiu, Shuheng Shen, Yue Wen, Tianyu Xia, Zhenyu Xu, Zhengwen Zeng, Beitong Zhou, Xingran Zhou, Weizhi Chen, Sunhao Dai, Jingya Dou, Yichen Gong, Yuan Guo, Zhenlin Guo, Feng Li, Qian Li, Jinzhen Lin, Yuqi Zhou, Linchao Zhu, Liang Chen, Zhenyu Guo, Changhua Meng, Weiqiang Wang

πŸ’‘ κ°œμš”

λ³Έ μ—°κ΅¬λŠ” κ΄‘λ²”μœ„ν•œ λ²”μš©μ„±κ³Ό 높은 νƒœμŠ€ν¬ μ„±λŠ₯을 λ™μ‹œμ— λ‹¬μ„±ν•˜λŠ” 데 어렀움이 μžˆλŠ” GUI μ—μ΄μ „νŠΈ λΆ„μ•Όμ˜ 문제λ₯Ό ν•΄κ²°ν•˜κΈ° μœ„ν•΄ UI-Venus-1.5λ₯Ό μ œμ•ˆν•©λ‹ˆλ‹€. UI-Venus-1.5λŠ” 100μ–΅ 개의 토큰을 ν™œμš©ν•œ 포괄적인 λ―Έλ“œνŠΈλ ˆμ΄λ‹, 전체 ꢀ적 둀아웃을 ν™œμš©ν•œ 온라인 κ°•ν™” ν•™μŠ΅, 그리고 μ—¬λŸ¬ λ„λ©”μΈμ˜ λͺ¨λΈμ„ ν†΅ν•©ν•˜λŠ” λͺ¨λΈ 병합 기법을 톡해 κ°•λ ₯ν•œ μ„±λŠ₯을 λ‹¬μ„±ν•©λ‹ˆλ‹€. 이λ₯Ό 톡해 ScreenSpot-Pro, VenusBench-GD, AndroidWorld와 같은 λ²€μΉ˜λ§ˆν¬μ—μ„œ μƒˆλ‘œμš΄ μ΅œμ²¨λ‹¨ μ„±λŠ₯을 λ‹¬μ„±ν•˜κ³  μ‹€μ œ 쀑ꡭ λͺ¨λ°”일 μ•± ν™˜κ²½μ—μ„œλ„ λ›°μ–΄λ‚œ 탐색 λŠ₯λ ₯을 μž…μ¦ν–ˆμŠ΅λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
GUI μ—μ΄μ „νŠΈμ˜ μΌλ°˜ν™” μ„±λŠ₯κ³Ό νƒœμŠ€ν¬ μˆ˜ν–‰ λŠ₯λ ₯을 λ™μ‹œμ— ν–₯μƒμ‹œν‚¬ 수 μžˆλŠ” 톡합적인 ν•™μŠ΅ 및 λͺ¨λΈ ꡬ좕 방법둠을 μ œμ‹œν•©λ‹ˆλ‹€.
β€’
λŒ€κ·œλͺ¨ 데이터셋과 κ°•ν™” ν•™μŠ΅ 기법을 κ²°ν•©ν•˜μ—¬ λ³΅μž‘ν•˜κ³  μž₯기적인 탐색이 ν•„μš”ν•œ μ‹€μ œ ν™˜κ²½μ—μ„œμ˜ μ—μ΄μ „νŠΈ μ„±λŠ₯을 크게 κ°œμ„ ν•  수 μžˆμŠ΅λ‹ˆλ‹€.
β€’
λ‹€μ–‘ν•œ 도메인별 λͺ¨λΈμ„ 단일 μ—μ΄μ „νŠΈλ‘œ ν†΅ν•©ν•˜λŠ” λͺ¨λΈ 병합 방식은 효율적인 λͺ¨λΈ ꡬ좕 및 배포에 κΈ°μ—¬ν•  수 μžˆμŠ΅λ‹ˆλ‹€.
β€’
μ œμ•ˆλœ λͺ¨λΈμ˜ μ„±λŠ₯은 νŠΉμ • 벀치마크 및 쀑ꡭ어 ν™˜κ²½μ— 맞좰져 μžˆμ–΄, λ‹€λ₯Έ μ–Έμ–΄ λ˜λŠ” λ”μš± λ‹€μ–‘ν•œ ν™˜κ²½μ—μ„œμ˜ μΌλ°˜ν™” μ„±λŠ₯ 검증이 ν•„μš”ν•©λ‹ˆλ‹€.
πŸ‘