Sign In

VL-DPO: Vision-Language-Guided Finetuning for Preference-Aligned Autonomous Driving

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Zhefan Xu, Ghassen Jerfel, Marina Haliem, Qi Zhao, Jeonhyung Kang, Khaled S. Refaat

πŸ’‘ κ°œμš”

λ³Έ 논문은 μžμœ¨μ£Όν–‰μ˜ λ³΅μž‘ν•œ 인간 μš΄μ „ μ„ ν˜Έλ„λ₯Ό λ°˜μ˜ν•˜κΈ° μœ„ν•΄ 기쑴의 λͺ¨λ°© ν•™μŠ΅ λ°©μ‹μ˜ ν•œκ³„λ₯Ό κ·Ήλ³΅ν•˜κ³ μž ν•©λ‹ˆλ‹€. 이λ₯Ό μœ„ν•΄ Vision-Language Model(VLM)을 ν™œμš©ν•˜μ—¬ 사전 ν•™μŠ΅λœ λͺ¨λΈμ˜ μ£Όν–‰ κΆ€μ μ—μ„œ μΈκ°„μ˜ μ„ ν˜Έλ„ μŒμ„ μžλ™ μƒμ„±ν•˜κ³ , 이λ₯Ό Direct Preference Optimization(DPO) κΈ°λ²•μœΌλ‘œ λ―Έμ„Έ μ‘°μ •ν•˜λŠ” VL-DPO ν”„λ ˆμž„μ›Œν¬λ₯Ό μ œμ•ˆν•©λ‹ˆλ‹€. μ‹€ν—˜ κ²°κ³Ό, VL-DPOλŠ” 사전 ν•™μŠ΅ λͺ¨λΈ λŒ€λΉ„ 인간 μ„ ν˜Έλ„ 평가 점수(RFS)λ₯Ό 11.94% ν–₯μƒμ‹œν‚€κ³  평균 λ³€μœ„ 였차(ADE)λ₯Ό 10.01% κ°μ†Œμ‹œν‚€λŠ” μš°μˆ˜ν•œ μ„±λŠ₯을 λ³΄μ—¬μ£Όμ—ˆμŠ΅λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
VLM의 μΆ”λ‘  λŠ₯λ ₯을 ν™œμš©ν•˜μ—¬ μΈκ°„μ˜ μš΄μ „ μ„ ν˜Έλ„λ₯Ό 효과적으둜 ν¬μ°©ν•˜κ³  μžμœ¨μ£Όν–‰ λͺ¨λΈμ„ μ •λ ¬ν•  수 μžˆμŒμ„ μž…μ¦ν–ˆμŠ΅λ‹ˆλ‹€.
β€’
λ³„λ„μ˜ 인간 ν”Όλ“œλ°± μˆ˜μ§‘ 없이도 VLM이 높은 ν’ˆμ§ˆμ˜ μ£Όν–‰ ꢀ적 μ„ ν˜Έλ„ ν”„λ‘μ‹œ 역할을 μˆ˜ν–‰ν•  수 μžˆμŠ΅λ‹ˆλ‹€.
β€’
μ œμ•ˆλœ 방법둠은 Waymo Open End-to-End Driving Dataset (WOD-E2E)에 λŒ€ν•΄ κ²€μ¦λ˜μ—ˆμœΌλ©°, λ‹€μ–‘ν•œ ν™˜κ²½ 및 μ‹œλ‚˜λ¦¬μ˜€μ—μ„œμ˜ μΌλ°˜ν™” μ„±λŠ₯에 λŒ€ν•œ μΆ”κ°€ 연ꡬ가 ν•„μš”ν•©λ‹ˆλ‹€.
πŸ‘
Made with Slashpage