Sign In

SimWorld Studio: Automatic Environment Generation with Evolving Coding Agent for Embodied Agent Learning

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Haoqiang Kang, Xiaokang Ye, Yuhan Liu, Siddhant Hitesh Mantri, Lingjun Mao, James Fleming, Drishti Regmi, Lianhui Qin

πŸ’‘ κ°œμš”

λ³Έ 논문은 LLM/VLM 기반 디지털 μ—μ΄μ „νŠΈ ν•™μŠ΅μ— ν•„μˆ˜μ μΈ ν’λΆ€ν•˜κ³  λ‹€μ–‘ν•œ 3D ν™˜κ²½ μƒμ„±μ˜ λΆ€μ‘± 문제λ₯Ό ν•΄κ²°ν•˜κΈ° μœ„ν•΄ SimWorld StudioλΌλŠ” κ°œλ°©ν˜• ν”Œλž«νΌμ„ μ œμ•ˆν•©λ‹ˆλ‹€. SimWorld StudioλŠ” μ–Έμ–΄/이미지 μ§€μΉ¨μœΌλ‘œλΆ€ν„° 물리적으둜 κ΅¬ν˜„λœ 3D ν™˜κ²½μ„ μƒμ„±ν•˜λŠ” 'SimCoder'λΌλŠ” μ½”λ”© μ—μ΄μ „νŠΈλ₯Ό ν™œμš©ν•˜λ©°, 검증 ν”Όλ“œλ°±μ„ 톡해 슀슀둜 μ§„ν™”ν•˜κ³  도ꡬλ₯Ό μΆ”κ°€ν•˜λŠ” λŠ₯λ ₯을 κ°€μ§‘λ‹ˆλ‹€. 이λ₯Ό 톡해 μƒμ„±λœ ν™˜κ²½μ€ embodied agent ν•™μŠ΅μ„ μœ„ν•œ Gym μŠ€νƒ€μΌμ˜ ν™˜κ²½μœΌλ‘œ 제곡되며, ν•™μŠ΅μžμ˜ λŠ₯λ ₯ 곑선에 맞좰 ν™˜κ²½ λ‚œμ΄λ„λ₯Ό μ‘°μ ˆν•˜λŠ” co-evolution 방식도 μ§€μ›ν•©λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
μžλ™ν™”λœ 3D ν™˜κ²½ 생성: SimWorld StudioλŠ” μ–Έμ–΄/이미지 μ§€μΉ¨λ§Œμ„ 톡해 λ³΅μž‘ν•œ 3D ν™˜κ²½μ„ μžλ™μœΌλ‘œ 생성할 수 μžˆμ–΄, embodied agent ν•™μŠ΅μ„ μœ„ν•œ 데이터셋 κ΅¬μΆ•μ˜ 병λͺ© ν˜„μƒμ„ μ™„ν™”ν•©λ‹ˆλ‹€.
β€’
μ—μ΄μ „νŠΈ μ„±λŠ₯ ν–₯상 및 μΌλ°˜ν™”: SimCoder의 자체 진화 λŠ₯λ ₯κ³Ό co-evolution 방식을 톡해 μƒμ„±λœ ν™˜κ²½μ€ embodied agent의 ν•™μŠ΅ μ„±λŠ₯을 크게 ν–₯μƒμ‹œν‚€κ³ , μƒˆλ‘œμš΄ λ²€μΉ˜λ§ˆν¬μ— λŒ€ν•œ μΌλ°˜ν™” λŠ₯λ ₯을 λ†’μž…λ‹ˆλ‹€.
β€’
ν•œκ³„μ  및 ν–₯ν›„ 과제: SimCoder의 진화 및 co-evolution λ©”μ»€λ‹ˆμ¦˜μ˜ 세뢀적인 νš¨μœ¨μ„± 및 ν™•μž₯성에 λŒ€ν•œ μΆ”κ°€ 연ꡬ가 ν•„μš”ν•˜λ©°, μƒμ„±λ˜λŠ” ν™˜κ²½μ˜ λ³΅μž‘μ„± 및 닀양성을 λ”μš± μ¦λŒ€μ‹œν‚€λŠ” λ°©μ•ˆ λͺ¨μƒ‰μ΄ μš”κ΅¬λ©λ‹ˆλ‹€.
πŸ‘
Made with Slashpage