Sign In

Listener-Rewarded Thinking in VLMs for Image Preferences

Created by
  • Haebom
Category
Empty

μ €μž

Alexander Gambashidze, Li Pengyi, Matvey Skripkin, Andrey Galichin, Anton Gusarov, Konstantin Sobolev, Andrey Kuznetsov, Ivan Oseledets

πŸ’‘ κ°œμš”

이 논문은 ν…μŠ€νŠΈ-이미지 생성 λͺ¨λΈμ΄ μΈκ°„μ˜ μ˜λ„μ— λΆ€ν•©ν•˜λ„λ‘ ν•˜κΈ° μœ„ν•΄ μ‹œκ°μ  μ„ ν˜Έλ„λ₯Ό ν•™μŠ΅ν•˜λŠ” 보상 λͺ¨λΈμ˜ μΌλ°˜ν™” μ„±λŠ₯ λΆ€μ‘± 문제λ₯Ό ν•΄κ²°ν•˜κ³ μž ν•©λ‹ˆλ‹€. κΈ°μ‘΄ κ°•ν™”ν•™μŠ΅ 방법둠(GRPO)μ—μ„œ 발견된 μΆ”λ‘  κ³Όμ •μ—μ„œμ˜ 였λ₯˜λ₯Ό κ°œμ„ ν•˜κΈ° μœ„ν•΄, 'λ¦¬μŠ€λ„ˆ'라고 λΆˆλ¦¬λŠ” 독립적인 λΉ„μ „-μ–Έμ–΄ λͺ¨λΈμ΄ μΆ”λ‘  과정을 μž¬ν‰κ°€ν•˜μ—¬ 보상 μ‹ ν˜Έλ₯Ό μ‘°μ •ν•˜λŠ” μƒˆλ‘œμš΄ λ¦¬μŠ€λ„ˆ κ°•ν™” ν•™μŠ΅ ν”„λ ˆμž„μ›Œν¬λ₯Ό μ œμ•ˆν•©λ‹ˆλ‹€. 이 방법은 μΆ”λ‘ μ˜ μ •ν™•μ„±λΏλ§Œ μ•„λ‹ˆλΌ 독립적인 λͺ¨λΈμ—κ²Œ 섀득λ ₯ μžˆλŠ” μ„€λͺ…을 μƒμ„±ν•˜λ„λ‘ μž₯λ €ν•˜λ©°, 이미지 μ„ ν˜Έλ„ 벀치마크 및 λŒ€κ·œλͺ¨ 인간 μ„ ν˜Έλ„ λ°μ΄ν„°μ…‹μ—μ„œ λ›°μ–΄λ‚œ μ„±λŠ₯ ν–₯상을 λ³΄μ—¬μ£Όμ—ˆμŠ΅λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
데이터 효율적인 ν•™μŠ΅: λ¦¬μŠ€λ„ˆ 기반 보상 방식은 λ³΅μž‘ν•œ 주석 νŒŒμ΄ν”„λΌμΈ 없이도 데이터 효율적으둜 λΉ„μ „-μ–Έμ–΄ λͺ¨λΈμ„ λ―Έλ¬˜ν•œ 인간 μ„ ν˜Έλ„μ— 맞좜 수 μžˆλŠ” ν™•μž₯ κ°€λŠ₯ν•œ 경둜λ₯Ό μ œκ³΅ν•©λ‹ˆλ‹€.
β€’
μΆ”λ‘  정확도 및 μ„€λͺ…μ˜ μ‹ λ’°μ„± ν–₯상: λͺ¨λΈμ΄ λ‹¨μˆœνžˆ μ˜¬λ°”λ₯΄κ²Œ μ‘λ‹΅ν•˜λŠ” 것을 λ„˜μ–΄, 독립적인 λͺ¨λΈμ΄ 섀득λ ₯ μžˆλ‹€κ³  νŒλ‹¨ν•  수 μžˆλŠ” μ„€λͺ…을 μƒμ„±ν•˜λ„λ‘ μœ λ„ν•˜μ—¬ μΆ”λ‘ μ˜ μ •ν™•μ„±κ³Ό 신뒰도λ₯Ό λ†’μž…λ‹ˆλ‹€.
β€’
ν•œκ³„μ : λ¦¬μŠ€λ„ˆ λͺ¨λΈ 자체의 μ„±λŠ₯μ΄λ‚˜ 편ν–₯이 μ΅œμ’… 보상 λͺ¨λΈμ— 영ν–₯을 λ―ΈμΉ  수 있으며, λ¦¬μŠ€λ„ˆ λͺ¨λΈμ˜ μž¬ν‰κ°€ 과정이 κ³„μ‚°μ μœΌλ‘œ 더 λ§Žμ€ μžμ›μ„ μš”κ΅¬ν•  수 μžˆμŠ΅λ‹ˆλ‹€.
πŸ‘
Made with Slashpage