Sign In

CoWorld-VLA: Thinking in a Multi-Expert World Model for Autonomous Driving

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Minqing Huang, Yujiao Xiang, Zihan Liang, Jiajie Huang, Jingqi Wang, Zhi Xu, Feiyang Tan, Hangning Zhou, Mu Yang, Gong Che

πŸ’‘ κ°œμš”

λ³Έ 논문은 자율 주행을 μœ„ν•œ Vision-Language-Action (VLA) λͺ¨λΈμ˜ ν•œκ³„μ μ„ κ·Ήλ³΅ν•˜κ³ μž, 닀쀑 μ „λ¬Έκ°€ 기반 μ›”λ“œ λͺ¨λΈλ§ ν”„λ ˆμž„μ›Œν¬μΈ CoWorld-VLAλ₯Ό μ œμ•ˆν•©λ‹ˆλ‹€. CoWorld-VLAλŠ” ν…μŠ€νŠΈ 기반의 CoTκ°€ μ‹œκ³΅κ°„μ  연속성을 λ³΄μ‘΄ν•˜κΈ° μ–΄λ ΅κ³  잠재적 μ›”λ“œ 좔둠이 행동 생성에 직접 μ‚¬μš©λ˜κΈ° μ–΄λ ΅λ‹€λŠ” 문제λ₯Ό ν•΄κ²°ν•˜κΈ° μœ„ν•΄, λ‹€μ–‘ν•œ μ†ŒμŠ€μ˜ 정보λ₯Ό ν™œμš©ν•˜μ—¬ 4가지 μ’…λ₯˜μ˜ μ „λ¬Έκ°€ ν† ν°μœΌλ‘œ μ••μΆ•λœ λͺ…μ‹œμ μΈ μ›”λ“œ ν‘œν˜„μ„ μƒμ„±ν•©λ‹ˆλ‹€. μ΄λ ‡κ²Œ μƒμ„±λœ μ „λ¬Έκ°€ 토큰듀은 행동 κ³„νšμ„ μœ„ν•œ λͺ…ν™•ν•œ 쑰건으둜 μ‚¬μš©λ˜μ–΄, ν™•μ‚° 기반의 계측적 닀쀑 μ „λ¬Έκ°€ μœ΅ν•© κ³„νšμžκ°€ 연속적인 μ£Όν–‰ ꢀ적을 μƒμ„±ν•˜λ„λ‘ μœ λ„ν•©λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
λͺ…μ‹œμ  μ›”λ“œ ν‘œν˜„μ„ ν†΅ν•œ 행동 κ³„νš κ°•ν™”: CoWorld-VLAλŠ” ν…μŠ€νŠΈλ‚˜ 잠재 λ³€μˆ˜μ— μ˜μ‘΄ν•˜λŠ” κΈ°μ‘΄ 방식과 달리, 의미둠적 μƒν˜Έμž‘μš©, κΈ°ν•˜ν•™μ  ꡬ쑰, 동적 λ³€ν™”, 자차 ꢀ적 λ“± ꡬ체적인 μ›”λ“œ 정보λ₯Ό μ „λ¬Έκ°€ ν† ν°μœΌλ‘œ μ œκ³΅ν•˜μ—¬ 자율 μ£Όν–‰ μ‹œμŠ€ν…œμ˜ κ³„νš λŠ₯λ ₯을 ν–₯μƒμ‹œν‚΅λ‹ˆλ‹€.
β€’
닀쀑 μ „λ¬Έκ°€μ˜ μ‹œλ„ˆμ§€ 효과: 각기 λ‹€λ₯Έ 츑면을 ν¬κ΄„ν•˜λŠ” 4가지 μ’…λ₯˜μ˜ μ „λ¬Έκ°€ 토큰은 μ„œλ‘œ 보완적인 정보λ₯Ό μ œκ³΅ν•˜λ©°, 이λ₯Ό ν†΅ν•©ν•˜μ—¬ λ”μš± κ°•κ±΄ν•˜κ³  μ •ν™•ν•œ 행동 예츑 및 생성에 κΈ°μ—¬ν•©λ‹ˆλ‹€.
β€’
μ‹œκ³΅κ°„μ  연속성 확보 및 ν˜„μ‹€μ μΈ ꢀ적 생성: ν™•μ‚° λͺ¨λΈ 기반의 κ³„νšμžλŠ” 생성 κ³Όμ • μ „λ°˜μ— 걸쳐 μž₯λ©΄ λ§₯락을 κ³ λ €ν•˜μ—¬ μ‹œκ°„μ— 따라 연속적인 μ£Όν–‰ ꢀ적을 μƒμ„±ν•˜λ©°, 이λ₯Ό 톡해 μ‹€μ œ μ£Όν–‰ ν™˜κ²½μ—μ„œμ˜ 좩돌 νšŒν”Ό 및 ꢀ적 정확도λ₯Ό λ†’μž…λ‹ˆλ‹€.
β€’
ν•œκ³„μ : λ³Έ μ—°κ΅¬λŠ” NAVSIM v1 λ²€μΉ˜λ§ˆν¬μ—μ„œ μ„±λŠ₯을 κ²€μ¦ν•˜μ˜€μœΌλ‚˜, μ‹€μ œ λ³΅μž‘ν•˜κ³  예츑 λΆˆκ°€λŠ₯ν•œ λ‹€μ–‘ν•œ μ£Όν–‰ μ‹œλ‚˜λ¦¬μ˜€μ— λŒ€ν•œ ν™•μž₯μ„± 및 μΌλ°˜ν™” μ„±λŠ₯ 검증이 μΆ”κ°€μ μœΌλ‘œ ν•„μš”ν•  수 μžˆμŠ΅λ‹ˆλ‹€. λ˜ν•œ, 각 μ „λ¬Έκ°€ ν† ν°μ˜ 정보 μΆ”μΆœ 및 μœ΅ν•© κ³Όμ •μ—μ„œ λ°œμƒν•  수 μžˆλŠ” 정보 μ†μ‹€μ΄λ‚˜ 편ν–₯에 λŒ€ν•œ 뢄석도 ν–₯ν›„ 연ꡬ κ³Όμ œκ°€ 될 수 μžˆμŠ΅λ‹ˆλ‹€.
πŸ‘
Made with Slashpage