Sign In

Spatial-MLLM: Boosting MLLM Capabilities in Visual-based Spatial Intelligence

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Diankun Wu, Fangfu Liu, Yi-Hsin Hung, Yueqi Duan

πŸ’‘ κ°œμš”

λ³Έ 논문은 2D μ˜μƒλ§Œμ„ ν™œμš©ν•˜μ—¬ 3D 곡간 지λŠ₯을 ν–₯μƒμ‹œν‚€λŠ” μƒˆλ‘œμš΄ MLLM ν”„λ ˆμž„μ›Œν¬μΈ Spatial-MLLM을 μ œμ•ˆν•©λ‹ˆλ‹€. κΈ°μ‘΄ 3D MLLM이 3D/2.5D 데이터λ₯Ό ν•„μš”λ‘œ ν•˜λŠ” μ œμ•½μ„ κ·Ήλ³΅ν•˜κΈ° μœ„ν•΄, λ³Έ μ—°κ΅¬λŠ” 2D μ˜μƒμ˜ κ°•λ ₯ν•œ ꡬ쑰적 사전 지식을 ν™œμš©ν•˜λŠ” λ“€μ–Ό 인코더 μ•„ν‚€ν…μ²˜λ₯Ό μ œμ•ˆν•©λ‹ˆλ‹€. 이λ₯Ό 톡해 2D μ˜μƒ 기반의 곡간 이해 및 μΆ”λ‘  λŠ₯λ ₯μ—μ„œ μ΅œμ²¨λ‹¨ μ„±λŠ₯을 λ‹¬μ„±ν–ˆμŠ΅λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
2D μ˜μƒ μž…λ ₯λ§ŒμœΌλ‘œλ„ 효과적인 3D 곡간 지λŠ₯을 κ΅¬ν˜„ν•  수 μžˆλŠ” κ°€λŠ₯성을 μ œμ‹œν•©λ‹ˆλ‹€.
β€’
사전 ν•™μŠ΅λœ μ‹œκ° κΈ°ν•˜ν•™ λͺ¨λΈμ˜ ꡬ쑰적 사전 지식을 ν™œμš©ν•˜μ—¬ 3D 곡간 νŠΉμ§• μΆ”μΆœμ˜ νš¨μœ¨μ„±μ„ λ†’μ˜€μŠ΅λ‹ˆλ‹€.
β€’
μΆ”λ‘  μ‹œ κ³΅κ°„μ μœΌλ‘œ μ€‘μš”ν•œ ν”„λ ˆμž„λ§Œ μ„ νƒν•˜λŠ” μ „λž΅μ€ μ œν•œλœ 토큰 κΈΈμ΄μ—μ„œλ„ λͺ¨λΈμ˜ μ„±λŠ₯을 μ΅œμ ν™”ν•˜λŠ” 데 κΈ°μ—¬ν•©λ‹ˆλ‹€.
β€’
μƒˆλ‘œμš΄ ν›ˆλ ¨ 데이터셋 ꡬ좕 및 ν›ˆλ ¨ 방법둠(지도 λ―Έμ„Έ μ‘°μ • 및 GRPO)을 톡해 λͺ¨λΈ μ„±λŠ₯을 ν–₯μƒμ‹œμΌ°μŠ΅λ‹ˆλ‹€.
β€’
ν–₯ν›„ μ—°κ΅¬μ—μ„œλŠ” λ‹€μ–‘ν•œ μ’…λ₯˜μ˜ 3D 데이터와 ν†΅ν•©ν•˜κ±°λ‚˜, μ‹€μ‹œκ°„ 3D 곡간 인지 λŠ₯λ ₯을 λ”μš± κ°•ν™”ν•˜λŠ” λ°©ν–₯으둜 λ°œμ „ν•  수 μžˆμŠ΅λ‹ˆλ‹€.
πŸ‘
Made with Slashpage