Sign In

OmniVL-Guard: Towards Unified Vision-Language Forgery Detection and Grounding via Balanced RL

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Jinjie Shen, Jing Wu, Yaxiong Wang, Lechao Cheng, Shengeng Tang, Tianrui Hui, Nan Pu, Zhun Zhong

πŸ’‘ κ°œμš”

λ³Έ 논문은 ν…μŠ€νŠΈ, 이미지, λΉ„λ””μ˜€κ°€ ν˜Όν•©λœ λ³΅μž‘ν•œ λ―Έλ””μ–΄ ν™˜κ²½μ—μ„œ λ°œμƒν•˜λŠ” ν—ˆμœ„ 정보 탐지λ₯Ό μœ„ν•œ 톡합 ν”„λ ˆμž„μ›Œν¬μΈ OmniVL-Guardλ₯Ό μ œμ•ˆν•©λ‹ˆλ‹€. κΈ°μ‘΄ μ—°κ΅¬μ˜ ν•œκ³„λ₯Ό κ·Ήλ³΅ν•˜κΈ° μœ„ν•΄, OmniVL-GuardλŠ” 닀쀑 λͺ¨λ‹¬λ¦¬ν‹° κ°„μ˜ μƒν˜Έμž‘μš©κ³Ό 탐지 및 μœ„μΉ˜ νŒŒμ•…μ΄λΌλŠ” 두 가지 μš”κ΅¬μ‚¬ν•­ μ‚¬μ΄μ˜ κ· ν˜•μ„ λ§žμΆ”λŠ” "λ‚œμ΄λ„ 편ν–₯" 문제λ₯Ό ν•΄κ²°ν•©λ‹ˆλ‹€. 이λ₯Ό μœ„ν•΄ 자체 μ§„ν™”ν˜• CoT 생성과 μ μ‘ν˜• 보상 μŠ€μΌ€μΌλ§ μ •μ±… μ΅œμ ν™”(ARSPO)λ₯Ό ν™œμš©ν•˜μ—¬ ν—ˆμœ„ 정보 탐지와 κ·Έ 좜처λ₯Ό λ™μ‹œμ— νŒŒμ•…ν•˜λŠ” μ„±λŠ₯을 ν–₯μƒμ‹œν‚΅λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
닀쀑 λͺ¨λ‹¬λ¦¬ν‹° ν—ˆμœ„ 정보 탐지 및 좜처 νŒŒμ•…μ˜ 톡합: ν…μŠ€νŠΈ, 이미지, λΉ„λ””μ˜€κ°€ λ’€μ„žμΈ λ³΅μž‘ν•œ ν˜„μ‹€ μ„Έκ³„μ˜ ν—ˆμœ„ 정보λ₯Ό 단일 ν”„λ ˆμž„μ›Œν¬μ—μ„œ 효과적으둜 νƒμ§€ν•˜κ³  좜처λ₯Ό νŒŒμ•…ν•  수 μžˆλŠ” κ°€λŠ₯성을 μ œμ‹œν•©λ‹ˆλ‹€.
β€’
λ‚œμ΄λ„ 편ν–₯ 문제 해결을 ν†΅ν•œ μ„±λŠ₯ ν–₯상: λ‹¨μˆœν•œ μ§„μœ„ νŒλ³„ μž‘μ—…μ΄ λ―Έμ„Έν•œ μœ„μΉ˜ νŒŒμ•… μ„±λŠ₯을 μ €ν•΄ν•˜λŠ” "λ‚œμ΄λ„ 편ν–₯" 문제λ₯Ό ν•΄κ²°ν•¨μœΌλ‘œμ¨, 두 μž‘μ—…μ„ λ™μ‹œμ— μ΅œμ ν™”ν•˜λŠ” 데 μ„±κ³΅ν–ˆμŠ΅λ‹ˆλ‹€.
β€’
μ œλ‘œμƒ· μΌλ°˜ν™” λŠ₯λ ₯: ν•™μŠ΅ 데이터셋에 ν¬ν•¨λ˜μ§€ μ•Šμ€ μƒˆλ‘œμš΄ λ„λ©”μΈμ˜ ν—ˆμœ„ 정보에 λŒ€ν•΄μ„œλ„ κ°•κ±΄ν•œ μ œλ‘œμƒ· μΌλ°˜ν™” μ„±λŠ₯을 λ³΄μ—¬μ€λ‹ˆλ‹€.
β€’
ν•œκ³„μ : μ œμ•ˆλœ λ°©λ²•λ‘ μ˜ λ³΅μž‘μ„±μœΌλ‘œ 인해 μ‹€μ œ μ„œλΉ„μŠ€μ— μ μš©ν•˜κΈ° μœ„ν•œ 좔가적인 μ΅œμ ν™” 및 νš¨μœ¨μ„± κ°œμ„  연ꡬ가 ν•„μš”ν•  수 μžˆμŠ΅λ‹ˆλ‹€. λ˜ν•œ, λ‹€μ–‘ν•œ μœ ν˜•μ˜ ν—ˆμœ„ 정보(예: λ”₯페이크, μ‘°μž‘λœ ν…μŠ€νŠΈ)에 λŒ€ν•œ μ„±λŠ₯을 더 ν­λ„“κ²Œ 검증할 ν•„μš”κ°€ μžˆμŠ΅λ‹ˆλ‹€.
πŸ‘
Made with Slashpage