Sign In

EnactToM: An Evolving Benchmark for Functional Theory of Mind in Embodied Agents

์ž‘์„ฑ์ž
  • Haebom
์นดํ…Œ๊ณ ๋ฆฌ
Empty

์ €์ž

Gurusha Juneja, Dylan Lu, Saaket Agashe, Parth Diwane, Edward Gunn, Jayanth Srinivasa, Gaowen Liu, William Yang Wang, Yali Du, Xin Eric Wang

๐Ÿ’ก ๊ฐœ์š”

๋ณธ ๋…ผ๋ฌธ์€ ๋‹ค์ค‘ ์—์ด์ „ํŠธ ํ™˜๊ฒฝ์—์„œ ํ˜‘์—…์„ ์œ„ํ•ด ํ•„์ˆ˜์ ์ธ ๊ธฐ๋Šฅ์  ์ธ๊ฐ„ ๋งˆ์Œ ์ด๋ก (Functional Theory of Mind, fToM)์„ ํ‰๊ฐ€ํ•˜๊ธฐ ์œ„ํ•œ ์ƒˆ๋กœ์šด ๋ฒค์น˜๋งˆํฌ์ธ EnactToM์„ ์ œ์•ˆํ•ฉ๋‹ˆ๋‹ค. EnactToM์€ 3D ๊ฐ€์ƒ ํ™˜๊ฒฝ์—์„œ ๋ถ€๋ถ„์  ๊ด€์ฐฐ ๊ฐ€๋Šฅ์„ฑ, ๊ฐœ์ธ ์ •๋ณด, ์ œํ•œ๋œ ํ†ต์‹ ์„ ํŠน์ง•์œผ๋กœ ํ•˜๋Š” 300๊ฐœ์˜ ๊ณผ์ œ๋กœ ๊ตฌ์„ฑ๋˜์–ด ์žˆ์œผ๋ฉฐ, ์—์ด์ „ํŠธ๊ฐ€ ์•”๋ฌต์ ์ธ ๋ฏฟ์Œ์— ๊ธฐ๋ฐ˜ํ•˜์—ฌ ์ตœ์ ์œผ๋กœ ํ–‰๋™ํ•˜๋Š” ๋Šฅ๋ ฅ์„ ์ธก์ •ํ•ฉ๋‹ˆ๋‹ค. ์‹คํ—˜ ๊ฒฐ๊ณผ, ์ตœ์ฒจ๋‹จ ๋ชจ๋ธ๋“ค์€ ๋ช…์‹œ์ ์ธ ๋ฏฟ์Œ ์งˆ๋ฌธ์—๋Š” ๋†’์€ ์„ฑ๋Šฅ์„ ๋ณด์˜€์œผ๋‚˜, ๊ธฐ๋Šฅ์  ๊ณผ์ œ์—์„œ๋Š” 0%์˜ ์„ฑ๊ณต๋ฅ ์„ ๊ธฐ๋กํ•˜๋ฉฐ ์—ํ”ผ์Šคํ…Œ๋ฏน ์กฐ์ •์˜ ์–ด๋ ค์›€์„ ๋ช…ํ™•ํžˆ ๋ณด์—ฌ์ฃผ์—ˆ์Šต๋‹ˆ๋‹ค.

๐Ÿ”‘ ์‹œ์‚ฌ์  ๋ฐ ํ•œ๊ณ„

โ€ข
EnactToM์€ ๊ธฐ์กด ๋ฒค์น˜๋งˆํฌ๊ฐ€ ๊ฐ„๊ณผํ–ˆ๋˜ ๊ธฐ๋Šฅ์  ์ธ๊ฐ„ ๋งˆ์Œ ์ด๋ก ์˜ ์ค‘์š”์„ฑ์„ ๊ฐ•์กฐํ•˜๋ฉฐ, ์‹ค์ œ์ ์ธ ๋‹ค์ค‘ ์—์ด์ „ํŠธ ํ˜‘์—…์„ ์œ„ํ•œ AI ๋Šฅ๋ ฅ ํ‰๊ฐ€์— ์ƒˆ๋กœ์šด ๊ธฐ์ค€์„ ์ œ์‹œํ•ฉ๋‹ˆ๋‹ค.
โ€ข
ํ˜„์žฌ ์ตœ์ฒจ๋‹จ AI ๋ชจ๋ธ๋“ค์ด ์•”๋ฌต์ ์ธ ๋ฏฟ์Œ์„ ์ดํ•ดํ•˜๊ณ  ํ™œ์šฉํ•˜๋Š” ๋ฐ ์‹ฌ๊ฐํ•œ ์–ด๋ ค์›€์„ ๊ฒช๊ณ  ์žˆ์Œ์„ ์‹ค์ฆ์ ์œผ๋กœ ๋ณด์—ฌ์ฃผ๋ฉฐ, ํ–ฅํ›„ ์—ฐ๊ตฌ ๋ฐฉํ–ฅ์— ๋Œ€ํ•œ ๊ตฌ์ฒด์ ์ธ ๋‹จ์„œ๋ฅผ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.
โ€ข
๋ฒค์น˜๋งˆํฌ๊ฐ€ "์ง„ํ™”"ํ•˜๋ฉฐ ๋ชจ๋ธ์˜ ๋ฐœ์ „์— ๋”ฐ๋ผ ๋‚œ์ด๋„๊ฐ€ ์กฐ์ ˆ๋œ๋‹ค๋Š” ์ ์€ ์ง€์†์ ์ธ ์—ฐ๊ตฌ ๋ฐ ํ‰๊ฐ€๋ฅผ ๊ฐ€๋Šฅํ•˜๊ฒŒ ํ•˜๋Š” ์žฅ์ ์ž…๋‹ˆ๋‹ค.
โ€ข
300๊ฐœ์˜ ๊ณผ์ œ๋กœ ๊ตฌ์„ฑ๋˜์–ด ์žˆ์ง€๋งŒ, ์‹ค์ œ ์„ธ๊ณ„์˜ ๋ณต์žก์„ฑ์„ ์™„์ „ํžˆ ๋ฐ˜์˜ํ•˜๊ธฐ์—๋Š” ๋ถ€์กฑํ•  ์ˆ˜ ์žˆ์œผ๋ฉฐ, ๊ณผ์ œ ์ƒ์„ฑ ๋ฐ ๊ฒ€์ฆ ๊ณผ์ •์˜ ์ž๋™ํ™” ๋ฐ ํ™•์žฅ์„ฑ ๋˜ํ•œ ์ค‘์š”ํ•œ ๊ณผ์ œ๊ฐ€ ๋  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
๐Ÿ‘