Sign In

Monocular Reconstruction of Neural Tactile Fields

Created by
  • Haebom
Category
Empty

์ €์ž

Pavan Mantripragada, Siddhanth Deshmukh, Eadom Dessalene, Manas Desai, Yiannis Aloimonos

๐Ÿ’ก ๊ฐœ์š”

๋ณธ ๋…ผ๋ฌธ์€ ๋กœ๋ด‡์ด ์‹ค์ œ ํ™˜๊ฒฝ์—์„œ ๋ฐœ์ƒํ•˜๋Š” ์ ‘์ด‰์— ๋Œ€ํ•œ ์ƒํ˜ธ์ž‘์šฉ์„ ์ธ์ง€ํ•˜๊ณ  3D ๊ณต๊ฐ„์„ ์žฌ๊ตฌ์„ฑํ•˜๊ธฐ ์œ„ํ•œ ์ƒˆ๋กœ์šด ๋ฐฉ๋ฒ•๋ก ์œผ๋กœ '์‹ ๊ฒฝ ์ด‰๊ฐ ํ•„๋“œ(neural tactile fields)'๋ฅผ ์ œ์•ˆํ•ฉ๋‹ˆ๋‹ค. ์ด๋Š” ๋‹จ์ผ RGB ์ด๋ฏธ์ง€๋กœ๋ถ€ํ„ฐ ๊ณต๊ฐ„์  ์œ„์น˜์™€ ์ ‘์ด‰ ์‹œ ์˜ˆ์ƒ๋˜๋Š” ์ด‰๊ฐ ๋ฐ˜์‘์„ ๋งคํ•‘ํ•˜๋Š” 3D ํ‘œํ˜„ ๋ฐฉ์‹์ด๋ฉฐ, ์ด๋Ÿฌํ•œ ์‹ ๊ฒฝ ์ด‰๊ฐ ํ•„๋“œ๋ฅผ ์ƒ์„ฑํ•˜๋Š” ์ตœ์ดˆ์˜ ๋‹จ์•ˆ(monocular) ๊ธฐ๋ฐ˜ ๋ฐฉ๋ฒ•๋ก ์ž…๋‹ˆ๋‹ค. ์ด ๊ธฐ์ˆ ์„ ๊ธฐ์กด ๊ฒฝ๋กœ ๊ณ„ํš๊ธฐ์— ํ†ตํ•ฉํ•˜๋ฉด ๋กœ๋ด‡์€ ์ €ํ•ญ์ด ๋†’์€ ๋ฌผ์ฒด๋ฅผ ํšŒํ”ผํ•˜๋ฉด์„œ๋„ ์ €ํ•ญ์ด ๋‚ฎ์€ ์˜์—ญ(์˜ˆ: ์žŽ์‚ฌ๊ท€)์„ ์˜๋„์ ์œผ๋กœ ํ†ต๊ณผํ•˜๋Š” ๊ฒฝ๋กœ๋ฅผ ์ƒ์„ฑํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๐Ÿ”‘ ์‹œ์‚ฌ์  ๋ฐ ํ•œ๊ณ„

โ€ข
์‹ค๊ฐ ๋‚˜๋Š” ํ™˜๊ฒฝ ์ธ์ง€: ์‹ ๊ฒฝ ์ด‰๊ฐ ํ•„๋“œ๋Š” ๋‹จ์ˆœํ•œ ๊ธฐํ•˜ํ•™์  ์ •๋ณด๋ฟ๋งŒ ์•„๋‹ˆ๋ผ ์ ‘์ด‰ ์‹œ์˜ ๋ฌผ๋ฆฌ์  ์†์„ฑ(์˜ˆ: ์ €ํ•ญ)๊นŒ์ง€ ๊ณ ๋ คํ•œ 3D ํ‘œํ˜„์„ ๊ฐ€๋Šฅํ•˜๊ฒŒ ํ•˜์—ฌ ๋กœ๋ด‡์˜ ์‹ค์ œ ํ™˜๊ฒฝ ์ดํ•ด๋„๋ฅผ ํฌ๊ฒŒ ํ–ฅ์ƒ์‹œํ‚ต๋‹ˆ๋‹ค.
โ€ข
ํšจ์œจ์ ์ธ ๊ฒฝ๋กœ ๊ณ„ํš: ํŠนํžˆ ์œ ์—ฐํ•˜๊ฑฐ๋‚˜ ๋ณ€ํ˜• ๊ฐ€๋Šฅํ•œ ํ™˜๊ฒฝ์—์„œ ๋กœ๋ด‡์ด ์žฅ์• ๋ฌผ์„ ๋‹จ์ˆœํžˆ ํ†ต๊ณผ ๋ถˆ๊ฐ€๋Šฅํ•œ ๊ฒƒ์œผ๋กœ ์—ฌ๊ธฐ๋Š” ๋Œ€์‹ , ์ ‘์ด‰ ํŠน์„ฑ์— ๊ธฐ๋ฐ˜ํ•œ ๋Šฅ๋™์ ์ธ ๊ฒฝ๋กœ ๊ณ„ํš์„ ์ˆ˜ํ–‰ํ•  ์ˆ˜ ์žˆ๋„๋ก ์ง€์›ํ•ฉ๋‹ˆ๋‹ค.
โ€ข
์„ฑ๋Šฅ ํ–ฅ์ƒ: ์ œ์•ˆ๋œ ํ•™์Šต ํ”„๋ ˆ์ž„์›Œํฌ๋Š” ๊ธฐ์กด ๋‹จ์•ˆ 3D ์žฌ๊ตฌ์„ฑ ๋ฐฉ๋ฒ•๋ก  ๋Œ€๋น„ ๋ณต์…€(voxel) ๊ธฐ๋ฐ˜ 3D ์žฌ๊ตฌ์„ฑ ์ •ํ™•๋„๋ฅผ 85.8%, ํ‘œ๋ฉด ์žฌ๊ตฌ์„ฑ ์ •ํ™•๋„๋ฅผ 26.7% ํ–ฅ์ƒ์‹œํ‚ค๋Š” ๊ฒƒ์œผ๋กœ ์ž…์ฆ๋˜์—ˆ์Šต๋‹ˆ๋‹ค.
โ€ข
ํ•œ๊ณ„์  ๋ฐ ํ–ฅํ›„ ๊ณผ์ œ: ํ˜„์žฌ ์—ฐ๊ตฌ๋Š” ๋‹จ์ผ RGB ์ด๋ฏธ์ง€์— ๊ธฐ๋ฐ˜ํ•˜๊ณ  ์žˆ์œผ๋ฉฐ, ๋‹ค์–‘ํ•œ ์กฐ๋ช… ์กฐ๊ฑด, ๋ณต์žกํ•œ ํ‘œ๋ฉด ์งˆ๊ฐ, ๊ทธ๋ฆฌ๊ณ  ์‹œ์  ๋ณ€ํ™”์— ๋Œ€ํ•œ ๋ชจ๋ธ์˜ ๊ฐ•๊ฑด์„ฑ(robustness)์€ ์ถ”๊ฐ€์ ์ธ ์—ฐ๊ตฌ์™€ ๊ฒ€์ฆ์ด ํ•„์š”ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋˜ํ•œ, ์‹ค์ œ ๋กœ๋ด‡ ์‹œ์Šคํ…œ์— ํ†ตํ•ฉ๋  ๋•Œ์˜ ์‹ค์‹œ๊ฐ„ ์ฒ˜๋ฆฌ ์„ฑ๋Šฅ ๋ฐ ํ™•์žฅ์„ฑ ๋ฌธ์ œ๋„ ๊ณ ๋ คํ•ด์•ผ ํ•  ๋ถ€๋ถ„์ž…๋‹ˆ๋‹ค.
๐Ÿ‘