Sign In

RoboLayout: Differentiable 3D Scene Generation for Embodied Agents

Created by
  • Haebom
Category
Empty

μ €μž

Ali Shamsaddinlou

πŸ’‘ κ°œμš”

λ³Έ 논문은 μž„λ² λ””λ“œ μ—μ΄μ „νŠΈκ°€ νƒμƒ‰ν•˜κ³  μƒν˜Έμž‘μš©ν•  수 μžˆλŠ” 3D μ‹€λ‚΄ μž₯면을 μƒμ„±ν•˜λŠ” λ¬Έμ œμ— μ΄ˆμ μ„ 맞좘 RoboLayout을 μ œμ•ˆν•©λ‹ˆλ‹€. RoboLayout은 κΈ°μ‘΄ LayoutVLM ν”„λ ˆμž„μ›Œν¬λ₯Ό μ—μ΄μ „νŠΈ 인지 μΆ”λ‘  및 μ΅œμ ν™” μ•ˆμ •μ„± κ°œμ„ μ„ 톡해 ν™•μž₯ν•˜μ—¬, λͺ…μ‹œμ μΈ 도달 κ°€λŠ₯μ„± μ œμ•½ 쑰건을 ν†΅ν•©ν•¨μœΌλ‘œμ¨ μ—μ΄μ „νŠΈ μΉœν™”μ μΈ μž₯λ©΄ 생성을 κ°€λŠ₯ν•˜κ²Œ ν•©λ‹ˆλ‹€. 이λ₯Ό 톡해 λ‹€μ–‘ν•œ μ’…λ₯˜μ˜ μ—μ΄μ „νŠΈ(λ‘œλ΄‡, μ‚¬λžŒ, 동물 λ“±)에 맞좰 쑰절 κ°€λŠ₯ν•œ 3D μž₯λ©΄ λ ˆμ΄μ•„μ›ƒμ„ μƒμ„±ν•˜μ—¬, μ—μ΄μ „νŠΈ μ€‘μ‹¬μ˜ μ‹€λ‚΄ μž₯λ©΄ 생성 적용 κ°€λŠ₯성을 크게 ν–₯μƒμ‹œν‚΅λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
μ—μ΄μ „νŠΈ μ€‘μ‹¬μ˜ 3D μž₯λ©΄ 생성: νŠΉμ • λ‘œλ΄‡ ν”Œλž«νΌμ— κ΅­ν•œλ˜μ§€ μ•Šκ³  λ‹€μ–‘ν•œ μ—μ΄μ „νŠΈ(μ„œλΉ„μŠ€ λ‘œλ΄‡, 인간, 동물 λ“±)의 물리적 μ œμ•½μ„ κ³ λ €ν•œ 3D μž₯λ©΄ λ ˆμ΄μ•„μ›ƒ 생성이 κ°€λŠ₯ν•΄μ§‘λ‹ˆλ‹€.
β€’
도달 κ°€λŠ₯μ„± 및 μƒν˜Έμž‘μš©μ„± κ°•ν™”: λͺ…μ‹œμ μΈ 도달 κ°€λŠ₯μ„± μ œμ•½ 쑰건을 ν†΅ν•©ν•˜μ—¬ μƒμ„±λœ μž₯면이 μ—μ΄μ „νŠΈκ°€ μ‹€μ œλ‘œ νƒμƒ‰ν•˜κ³  μƒν˜Έμž‘μš©ν•  수 μžˆλ„λ‘ 물리적 ν˜„μ‹€μ„±μ„ λ†’μž…λ‹ˆλ‹€.
β€’
효율적인 μ΅œμ ν™”: κ΅­μ†Œμ  μž¬μ΅œμ ν™” 단계λ₯Ό 톡해 문제 μ˜μ—­μ˜ 객체 배치λ₯Ό μ„ νƒμ μœΌλ‘œ μˆ˜μ •ν•¨μœΌλ‘œμ¨ μ „μ—­ μ΅œμ ν™” 반볡 횟수λ₯Ό λŠ˜λ¦¬μ§€ μ•Šκ³ λ„ 수렴 νš¨μœ¨μ„±μ„ κ°œμ„ ν•©λ‹ˆλ‹€.
β€’
ν•œκ³„μ : λ‹€μ–‘ν•œ μ—μ΄μ „νŠΈμ˜ λ³΅μž‘ν•œ μƒν˜Έμž‘μš© 및 동적 ν™˜κ²½μ—μ„œμ˜ μž₯λ©΄ 생성에 λŒ€ν•œ 좔가적인 연ꡬ가 ν•„μš”ν•©λ‹ˆλ‹€. λ˜ν•œ, μ‹€μ œ ν™˜κ²½μ—μ„œμ˜ μ μš©μ„ μœ„ν•΄μ„œλŠ” μ—μ΄μ „νŠΈμ˜ μ •κ΅ν•œ μ›€μ§μž„ κ³„νš 및 μ œμ–΄μ™€μ˜ 연계가 μ€‘μš”ν•  수 μžˆμŠ΅λ‹ˆλ‹€.
πŸ‘
Made with Slashpage