Sign In

IVGT: Implicit Visual Geometry Transformer for Neural Scene Representation

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Yuqi Wu, Tianyu Hu, Wenzhao Zheng, Yuanhui Huang, Haowen Sun, Jie Zhou, Jiwen Lu

πŸ’‘ κ°œμš”

λ³Έ 논문은 포즈 정보가 μ—†λŠ” 닀쀑 μ‹œμ  μ΄λ―Έμ§€λ‘œλΆ€ν„° 일관성 μžˆλŠ” 3D ν˜•μƒκ³Ό μ™Έν˜•μ„ μž¬κ΅¬μ„±ν•˜λŠ” 문제λ₯Ό ν•΄κ²°ν•˜κΈ° μœ„ν•΄ Implicit Visual Geometry Transformer (IVGT)λ₯Ό μ œμ•ˆν•©λ‹ˆλ‹€. IVGTλŠ” λͺ…μ‹œμ μΈ ν”½μ…€ μ •λ ¬ 포인트맡 λŒ€μ‹ , 연속적인 신경망 μž₯λ©΄ ν‘œν˜„μ„ ν•™μŠ΅ν•˜μ—¬ 3D κ³΅κ°„μ—μ„œμ˜ 연속적인 질의λ₯Ό 톡해 SDF κ°’κ³Ό 색상을 μ˜ˆμΈ‘ν•©λ‹ˆλ‹€. 이λ₯Ό 톡해 κΈ°μ‘΄ λ°©λ²•μ˜ 쀑볡성 및 κΈ°ν•˜ν•™μ  λΆˆμ—°μ†μ„± 문제λ₯Ό κ·Ήλ³΅ν•˜κ³ , λ©”μ‹œ 및 포인트 ν΄λΌμš°λ“œ μž¬κ΅¬μ„±, μƒˆλ‘œμš΄ μ‹œμ  ν•©μ„±, 깊이 및 법선 μΆ”μ • λ“± λ‹€μ–‘ν•œ μž‘μ—…μ—μ„œ μš°μˆ˜ν•œ μΌλ°˜ν™” μ„±λŠ₯을 λ³΄μ—¬μ€λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
포즈 정보 없이도 연속적이고 일관성 μžˆλŠ” 3D μž₯λ©΄ ν‘œν˜„ 및 볡원이 κ°€λŠ₯함을 μž…μ¦ν–ˆμŠ΅λ‹ˆλ‹€.
β€’
기쑴의 λͺ…μ‹œμ  κΈ°ν•˜ν•™ λͺ¨λΈμ˜ ν•œκ³„λ₯Ό κ·Ήλ³΅ν•˜λŠ” μƒˆλ‘œμš΄ μ ‘κ·Ό 방식을 μ œμ‹œν•©λ‹ˆλ‹€.
β€’
λ‹€μ–‘ν•œ 3D κ΄€λ ¨ λ‹€μš΄μŠ€νŠΈλ¦Ό μž‘μ—…μ— λŒ€ν•œ μš°μˆ˜ν•œ μΌλ°˜ν™” λŠ₯λ ₯을 λ³΄μ—¬μ€λ‹ˆλ‹€.
β€’
ν›ˆλ ¨ κ³Όμ •μ—μ„œ 2D 감독 μ‹ ν˜Έμ™€ 3D κΈ°ν•˜ν•™μ  μ •κ·œν™”λ₯Ό ν•¨κ»˜ ν™œμš©ν•˜λŠ” 것이 νš¨κ³Όμ μž…λ‹ˆλ‹€.
β€’
(ν•œκ³„μ  λ˜λŠ” ν–₯ν›„ 과제) 싀세계 λ³΅μž‘ν•œ ν™˜κ²½μ—μ„œμ˜ μ„±λŠ₯ ν–₯상 및 계산 νš¨μœ¨μ„± κ°œμ„ μ— λŒ€ν•œ 연ꡬ가 ν•„μš”ν•©λ‹ˆλ‹€.
πŸ‘
Made with Slashpage