Sign In

RESample: A Robust Data Augmentation Framework via Exploratory Sampling for Robotic Manipulation

Created by
  • Haebom
Category
Empty

์ €์ž

Yuquan Xue, Guanxing Lu, Zhenyu Wu, Chuanrui Zhang, Bofang Jia, Zhengyi Gu, Ziwei Wang

๐Ÿ’ก ๊ฐœ์š”

๋ณธ ๋…ผ๋ฌธ์€ ๋กœ๋ด‡ ์กฐ์ž‘ ๋ถ„์•ผ์—์„œ Vision-Language-Action (VLA) ๋ชจ๋ธ์˜ ํ•™์Šต ๋ฐ์ดํ„ฐ์…‹์ด ์„ฑ๊ณต์ ์ธ ๊ถค์ ์— ํŽธ์ค‘๋˜์–ด ๋ฐœ์ƒํ•  ์ˆ˜ ์žˆ๋Š” ๋ถ„ํฌ ์™ธ(OOD) ๋ฌธ์ œ์— ๋Œ€์‘ํ•˜๊ธฐ ์œ„ํ•œ ๋ฐ์ดํ„ฐ ์ฆ๊ฐ• ํ”„๋ ˆ์ž„์›Œํฌ์ธ RESample์„ ์ œ์•ˆํ•ฉ๋‹ˆ๋‹ค. RESample์€ ํƒ์ƒ‰์  ์ƒ˜ํ”Œ๋ง ๋ฉ”์ปค๋‹ˆ์ฆ˜์„ ํ†ตํ•ด ์ •์ฑ… ๋กค์•„์›ƒ ์ค‘ ์ž ์žฌ์ ์ธ ์ปค๋ฒ„๋ฆฌ์ง€ ๊ฒฉ์ฐจ๋ฅผ ์‹๋ณ„ํ•˜๊ณ , ์ด๋ฅผ ๋ณด์™„ํ•˜๋Š” ํƒ์ƒ‰์  ํ–‰๋™์„ ์ƒ˜ํ”Œ๋งํ•˜์—ฌ ํ•™์Šต ๋ฐ์ดํ„ฐ์…‹์˜ ๋ถ„ํฌ ์ปค๋ฒ„๋ฆฌ์ง€๋ฅผ ํšจ์œจ์ ์œผ๋กœ ํ™•์žฅํ•ฉ๋‹ˆ๋‹ค. ๋˜ํ•œ, ํ•™์Šต ๋ฐ์ดํ„ฐ์…‹์˜ ๋ถ„ํฌ๋ฅผ ํšจ๊ณผ์ ์œผ๋กœ ๋ฐ˜์˜ํ•˜๊ธฐ ์œ„ํ•ด ๊ฒฝ๋Ÿ‰ ์ปค๋ฒ„๋ฆฌ์ง€ ํ•จ์ˆ˜๋ฅผ ๋„์ž…ํ•˜์—ฌ ์ปค๋ฒ„๋ฆฌ์ง€ ๋ฐ€๋„๊ฐ€ ๋‚ฎ์€ ์˜์—ญ์— ์ƒ˜ํ”Œ๋ง ๊ณผ์ •์„ ์ง‘์ค‘์‹œํ‚ต๋‹ˆ๋‹ค.

๐Ÿ”‘ ์‹œ์‚ฌ์  ๋ฐ ํ•œ๊ณ„

โ€ข
๊ธฐ์กด VLA ๋ชจ๋ธ์ด ์„ฑ๊ณต ๊ถค์ ์— ํŽธ์ค‘๋œ ํ•™์Šต ๋ฐ์ดํ„ฐ์…‹์œผ๋กœ ์ธํ•ด ๋ถ„ํฌ ์™ธ ์ƒํ™ฉ์— ์ทจ์•ฝํ•œ ๋ฌธ์ œ๋ฅผ ํ•ด๊ฒฐํ•  ์ˆ˜ ์žˆ๋Š” ํšจ๊ณผ์ ์ธ ๋ฐ์ดํ„ฐ ์ฆ๊ฐ• ๋ฐฉ๋ฒ•์„ ์ œ์‹œํ•ฉ๋‹ˆ๋‹ค.
โ€ข
์ œ์•ˆ๋œ RESample ํ”„๋ ˆ์ž„์›Œํฌ๋Š” ์ ์€ ์ถ”๊ฐ€ ์ƒ˜ํ”Œ๋กœ๋„ ๊ธฐ์กด ํ•™์Šต ๋ฐ์ดํ„ฐ์…‹์˜ ์ปค๋ฒ„๋ฆฌ์ง€๋ฅผ ํฌ๊ฒŒ ํ™•์žฅํ•˜์—ฌ ๋กœ๋ด‡ ์กฐ์ž‘ ์„ฑ๋Šฅ์„ 12% ํ–ฅ์ƒ์‹œํ‚ค๋Š” ๊ฒฐ๊ณผ๋ฅผ ๋ณด์—ฌ์ฃผ์—ˆ์Šต๋‹ˆ๋‹ค.
โ€ข
ํƒ์ƒ‰์  ์ƒ˜ํ”Œ๋ง ๊ณผ์ •์˜ ํšจ์œจ์„ฑ์„ ๋†’์ด๊ธฐ ์œ„ํ•ด ๊ฒฝ๋Ÿ‰ ์ปค๋ฒ„๋ฆฌ์ง€ ํ•จ์ˆ˜๋ฅผ ๋„์ž…ํ•˜์—ฌ ์ปค๋ฒ„๋ฆฌ์ง€ ๋ฐ€๋„๊ฐ€ ๋‚ฎ์€ ์˜์—ญ์— ๋Œ€ํ•œ ์ƒ˜ํ”Œ๋ง์„ ์ง‘์ค‘์‹œํ‚ค๋Š” ์ „๋žต์€ ์‹ค์šฉ์ ์ธ ์ ‘๊ทผ ๋ฐฉ์‹์ž…๋‹ˆ๋‹ค.
โ€ข
(ํ•œ๊ณ„์  ๋˜๋Š” ํ–ฅํ›„ ๊ณผ์ œ) ํƒ์ƒ‰์  ์ƒ˜ํ”Œ๋ง ๋ฉ”์ปค๋‹ˆ์ฆ˜์˜ ์„ค๊ณ„๊ฐ€ ํŠน์ • ๋กœ๋ด‡ ์ž‘์—…์ด๋‚˜ ํ™˜๊ฒฝ์— ๋”ฐ๋ผ ์ตœ์ ํ™”๋  ํ•„์š”๊ฐ€ ์žˆ์œผ๋ฉฐ, ๋” ๋ณต์žกํ•˜๊ณ  ๋‹ค์–‘ํ•œ OOD ์‹œ๋‚˜๋ฆฌ์˜ค์— ๋Œ€ํ•œ ์ผ๋ฐ˜ํ™” ์„ฑ๋Šฅ ํ–ฅ์ƒ ์—ฐ๊ตฌ๊ฐ€ ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค.
๐Ÿ‘