Sign In

Don't Click That: Teaching Web Agents to Resist Deceptive Interfaces

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Yilin Zhang, Yingkai Hua, Chunyu Wei, Xin Wang, Yueguo Chen

πŸ’‘ κ°œμš”

λ³Έ μ—°κ΅¬λŠ” Vision-Language Model(VLM) 기반 μ›Ή μ—μ΄μ „νŠΈκ°€ μ†μž„μˆ˜ μΈν„°νŽ˜μ΄μŠ€μ— μ·¨μ•½ν•˜λ‹€λŠ” 문제λ₯Ό ν•΄κ²°ν•˜κΈ° μœ„ν•΄, μ†μž„μˆ˜ 탐지 및 평가 ν”„λ ˆμž„μ›Œν¬μΈ DUDEλ₯Ό μ œμ•ˆν•©λ‹ˆλ‹€. DUDEλŠ” ν•˜μ΄λΈŒλ¦¬λ“œ 보상 ν•™μŠ΅, λΉ„λŒ€μΉ­ νŽ˜λ„ν‹°, κ²½ν—˜ μš”μ•½μ„ 톡해 μ‹€νŒ¨ νŒ¨ν„΄μ„ ν•™μŠ΅ν•˜μ—¬ μ—μ΄μ „νŠΈμ˜ μ†μž„μˆ˜ μΈν„°νŽ˜μ΄μŠ€ λŒ€μ‘ λŠ₯λ ₯을 ν–₯μƒμ‹œν‚΅λ‹ˆλ‹€. μ œμ•ˆλœ DUDEλŠ” 53.8%의 μ†μž„μˆ˜ μ·¨μ•½μ„± κ°μ†Œμ™€ ν•¨κ»˜ μž‘μ—… μ„±λŠ₯을 μœ μ§€ν•˜λŠ” μ„±κ³Όλ₯Ό λ³΄μ˜€μŠ΅λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
μ›Ή μ—μ΄μ „νŠΈμ˜ 자율적 GUI μƒν˜Έμž‘μš© λŠ₯λ ₯을 κ°•ν™”ν•˜κ³  μ‹€μ œ 배포 μ‹œ λ°œμƒν•  수 μžˆλŠ” λ³΄μ•ˆ μœ„ν˜‘μ„ μ™„ν™”ν•˜λŠ” 데 κΈ°μ—¬ν•©λ‹ˆλ‹€.
β€’
μ†μž„μˆ˜ μΈν„°νŽ˜μ΄μŠ€ 탐지와 μž‘μ—… μˆ˜ν–‰μ„ ν†΅ν•©ν•œ 졜초의 λ°©μ–΄ ν”„λ ˆμž„μ›Œν¬λ₯Ό μ œμ‹œν•˜μ—¬ ν–₯ν›„ κ΄€λ ¨ μ—°κ΅¬μ˜ κΈ°λ°˜μ„ λ§ˆλ ¨ν•©λ‹ˆλ‹€.
β€’
μ œμ•ˆλœ DUDE ν”„λ ˆμž„μ›Œν¬μ˜ μΌλ°˜ν™” μ„±λŠ₯ 및 λ‹€μ–‘ν•œ μœ ν˜•μ˜ μ†μž„μˆ˜ μΈν„°νŽ˜μ΄μŠ€μ— λŒ€ν•œ ν™•μž₯성은 μΆ”κ°€ 연ꡬ가 ν•„μš”ν•©λ‹ˆλ‹€.
πŸ‘
Made with Slashpage