ScaleWoB: Guiding GUI Agents with Coding Agents via Large-Scale Environmental Synthesis
์์ฑ์
- Haebom
์นดํ
๊ณ ๋ฆฌ
Empty
์ ์
Guohong Liu, Jialei Ye, Pengzhi Gao, Wei Liu, Jian Luan, Yunxin Liu, Yuanchun Li
๐ก ๊ฐ์
๋ณธ ๋
ผ๋ฌธ์ ํ์ค์ ์ธ GUI ์์ด์ ํธ ํ์ต ๋ฐ ํ๊ฐ๋ฅผ ์ํด ์ค์ ํ๊ฒฝ์ ๋ณต์ก์ฑ, ์ ์ด ๋ถ๊ฐ์ฑ, ๋ณด์ ์ค๊ณ์ ์ด๋ ค์, ๋์ ์์ ์๊ตฌ ์ฌํญ ๋ฑ์ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๊ณ ์ ScaleWoB๋ผ๋ ํฉ์ฑ ํ๊ฒฝ ์์ฑ ํ๋ ์์ํฌ๋ฅผ ์ ์ํฉ๋๋ค. ScaleWoB๋ ๋ฐฑ์๋ ์์ด URL๋ก ์ ๊ทผ ๊ฐ๋ฅํ ๊ณ ์ถฉ์ค๋ ์นํ์ด์ง ๊ธฐ๋ฐ์ ํฉ์ฑ ํ๊ฒฝ์ ์ ๊ณตํ์ฌ, ๋ชจ๋ฐ์ผ, ๋ฐ์คํฌํฑ, ์๋์ฐจ ์ธํฌํ
์ธ๋จผํธ ๋ฑ ๋ค์ํ ํ๋ซํผ์์ 100๊ฐ ์ด์์ ํ๊ฒฝ๊ณผ 1000๊ฐ ์ด์์ ๊ฒ์ฆ ๊ฐ๋ฅํ ์์
์ ์ง์ํฉ๋๋ค.
๐ ์์ฌ์ ๋ฐ ํ๊ณ
โข
์๋ก์ด ํฉ์ฑ ํ๊ฒฝ ์์ฑ ํจ๋ฌ๋ค์: ScaleWoB๋ ์ค์ ํ๊ฒฝ์ ์ ์ฝ์ ๊ทน๋ณตํ๊ณ ๋๊ท๋ชจ GUI ์์ด์ ํธ ํ์ต ๋ฐ ํ๊ฐ๋ฅผ ์ํ ํจ์จ์ ์ด๊ณ ๊ฒ์ฆ ๊ฐ๋ฅํ ํฉ์ฑ ํ๊ฒฝ์ ์ ๊ณตํ๋ ์๋ก์ด ์ ๊ทผ ๋ฐฉ์์ ์ ์ํฉ๋๋ค.
โข
๊ด๋ฒ์ํ ์ ์ฉ ๊ฐ๋ฅ์ฑ ๋ฐ ๋ฒค์น๋งํฌ ์ ๊ณต: ๋ค์ํ GUI ํ๋ซํผ์ ์ง์ํ๊ณ , ํนํ 120๊ฐ์ ๋์ ์ ์ธ ๋ชจ๋ฐ์ผ GUI ์์ด์ ํธ ๋ฒค์น๋งํฌ๋ฅผ ๊ณต๊ฐํจ์ผ๋ก์จ ๊ด๋ จ ์ฐ๊ตฌ ์ปค๋ฎค๋ํฐ์ ๊ธฐ์ฌํฉ๋๋ค.
โข
์ธ๊ฐ ๋๋น ๋ฎ์ ์ฑ๋ฅ๊ณผ ์ผ๋ฐํ ๊ฒ์ฆ: ์ ์๋ ๋ฒค์น๋งํฌ์์ ์ต์ฒจ๋จ GUI ์์ด์ ํธ๋ค์ ํ๊ท ์ฑ๊ณต๋ฅ ์ด ์ธ๊ฐ์ ์ฑ๋ฅ์ ๋นํด ํ์ ํ ๋ฎ์์ ๋ณด์ฌ์ฃผ๋ฉฐ, ํฉ์ฑ ํ๊ฒฝ์์์ ํ๊ฐ๊ฐ ์ค์ ์ฑ์ ์ผ๋ฐํ๋จ์ ๊ฒ์ฆํฉ๋๋ค.
