Sign In

When Language Overwrites Vision: Over-Alignment and Geometric Debiasing in Vision-Language Models

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Harshvardhan Saini, Samyak Jha, Yiming Tang, Dianbo Liu

πŸ’‘ κ°œμš”

λ³Έ 논문은 Vision-Language λͺ¨λΈ(VLM)이 μž…λ ₯ 이미지에 μ—†λŠ” λ‚΄μš©μ„ μ„€λͺ…ν•˜λŠ” ν™˜κ° ν˜„μƒμ˜ κ·Όλ³Έ 원인이 μ‹œκ°μ  μž„λ² λ”©κ³Ό ν…μŠ€νŠΈ λ‹€ν˜•μ²΄ κ°„μ˜ κ³Όλ„ν•œ κΈ°ν•˜ν•™μ  정렬에 μžˆμŒμ„ λ°œκ²¬ν–ˆμŠ΅λ‹ˆλ‹€. μ΄λŸ¬ν•œ κ³Όλ„ν•œ 정렬은 언어적 편ν–₯을 μ‹œκ°μ  증거보닀 μš°μ„ μ‹œν•˜λ©°, 이λ₯Ό ν•΄κ²°ν•˜κΈ° μœ„ν•΄ μ œμ•ˆλœ 방법둠은 언어적 편ν–₯이 μ§‘μ€‘λœ 고유 벑터 곡간을 μ‹œκ°μ  ν‘œν˜„μ—μ„œ μ œκ±°ν•˜λŠ” κ²ƒμž…λ‹ˆλ‹€. κ·Έ κ²°κ³Ό, μ œμ•ˆλœ 방법은 ν™˜κ° ν˜„μƒμ„ 크게 쀄이고 μž₯λ¬Έ 캑셔닝 μ„±λŠ₯을 ν–₯μƒμ‹œμΌ°μŠ΅λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
VLM의 ν™˜κ° ν˜„μƒμ€ μ‹œκ°μ  정보와 언어적 정보 κ°„μ˜ 근본적인 κΈ°ν•˜ν•™μ  λΆˆκ· ν˜•μ—μ„œ λΉ„λ‘―λœλ‹€λŠ” 점을 λͺ…ν™•νžˆ ν–ˆμŠ΅λ‹ˆλ‹€.
β€’
μ œμ•ˆλœ κΈ°ν•˜ν•™μ  편ν–₯ 제거 기법은 좔가적인 ν•™μŠ΅ 없이도 VLM의 μ„±λŠ₯을 κ°œμ„ ν•  수 μžˆλŠ” 효과적인 ν›ˆλ ¨-프리 μΆ”λ‘  μ „λž΅μ„ μ œκ³΅ν•©λ‹ˆλ‹€.
β€’
μ œμ•ˆλœ 방법둠이 λͺ¨λ“  μœ ν˜•μ˜ VLM 및 λͺ¨λ“  μ’…λ₯˜μ˜ ν™˜κ° ν˜„μƒμ— νš¨κ³Όμ μΌμ§€λŠ” 좔가적인 검증이 ν•„μš”ν•˜λ©°, λ‹€μ–‘ν•œ 데이터셋과 νƒœμŠ€ν¬μ— λŒ€ν•œ μΌλ°˜ν™” μ„±λŠ₯ λ˜ν•œ ν–₯상될 여지가 μžˆμŠ΅λ‹ˆλ‹€.
πŸ‘
Made with Slashpage