Sign In

Transformers Linearly Represent Highly Structured World Models

์ž‘์„ฑ์ž
  • Haebom
์นดํ…Œ๊ณ ๋ฆฌ
Empty

์ €์ž

Roman Kniazev, Nathanael Fijalkow

๐Ÿ’ก ๊ฐœ์š”

๋ณธ ์—ฐ๊ตฌ๋Š” ์ˆœ์ฐจ์  ์ถ”๋ก  ๋ฐ์ดํ„ฐ๋กœ ํ›ˆ๋ จ๋œ ํŠธ๋žœ์Šคํฌ๋จธ๊ฐ€ ๋‚ด๋ถ€์ ์œผ๋กœ ๋„๋ฉ”์ธ์˜ ๊ตฌ์กฐ๋ฅผ ๋ฐ˜์˜ํ•˜๋Š” ์„ธ๊ณ„ ๋ชจ๋ธ์„ ๊ตฌ์ถ•ํ•˜๋Š”์ง€ ํƒ๊ตฌํ•ฉ๋‹ˆ๋‹ค. ์Šค๋„์ฟ  ๋ฌธ์ œ ํ•ด๊ฒฐ ๋ฐ์ดํ„ฐ๋กœ ํ›ˆ๋ จ๋œ 8๊ณ„์ธต ํŠธ๋žœ์Šคํฌ๋จธ๋ฅผ ๋ถ„์„ํ•œ ๊ฒฐ๊ณผ, ๋ชจ๋ธ์ด ์…€ ๋‹จ์œ„๊ฐ€ ์•„๋‹Œ ์Šค๋„์ฟ ์˜ ์ œ์•ฝ ์กฐ๊ฑด์ด ์ž‘์šฉํ•˜๋Š” ํ–‰, ์—ด, ๋ฐ•์Šค ์ค‘์‹ฌ์œผ๋กœ ์ •๋ณด๋ฅผ ๊ตฌ์„ฑํ•œ๋‹ค๋Š” ๊ฒƒ์„ ๋ฐœ๊ฒฌํ–ˆ์Šต๋‹ˆ๋‹ค. ๋˜ํ•œ, ํŠน์ • ์…€์— ๋‹จ ํ•˜๋‚˜์˜ ์ˆซ์ž๋งŒ ๊ฐ€๋Šฅํ•œ ๊ฒฝ์šฐ๋ฅผ ๊ฐ์ง€ํ•˜๊ณ  ํ•ด๋‹น ์ˆซ์ž๋ฅผ ์ด‰์ง„ํ•˜๋Š” 'naked-single circuit'์ด๋ผ๋Š” ํ•ด์„ ๊ฐ€๋Šฅํ•œ ์‹ ๊ฒฝ๋ง ํšŒ๋กœ๋ฅผ ์‹๋ณ„ํ–ˆ์Šต๋‹ˆ๋‹ค.

๐Ÿ”‘ ์‹œ์‚ฌ์  ๋ฐ ํ•œ๊ณ„

โ€ข
ํŠธ๋žœ์Šคํฌ๋จธ ๋ชจ๋ธ์ด ํ‘œ๋ฉด์ ์ธ ๋ฐ์ดํ„ฐ ํ‘œํ˜„์ด ์•„๋‹Œ, ๋„๋ฉ”์ธ์˜ ๊ทผ๋ณธ์ ์ธ ์ œ์•ฝ ๋Œ€์ˆ˜ํ•™์— ์˜ํ•ด ํ˜•์„ฑ๋œ ๋‚ด๋ถ€ ์„ธ๊ณ„ ๋ชจ๋ธ์˜ ๊ธฐํ•˜ํ•™์  ๊ตฌ์กฐ๋ฅผ ํ•™์Šตํ•  ์ˆ˜ ์žˆ์Œ์„ ๋ณด์—ฌ์ค๋‹ˆ๋‹ค.
โ€ข
ํ•™์Šต๋œ ๋‚ด๋ถ€ ์„ธ๊ณ„ ๋ชจ๋ธ์ด ํฌ์†Œํ•˜๊ณ , ๋‹จ์ผ ์˜๋ฏธ๋ฅผ ๊ฐ€์ง€๋ฉฐ, ์™„์ „ํžˆ ํ•ด์„ ๊ฐ€๋Šฅํ•œ ์˜์‚ฌ๊ฒฐ์ • ํšŒ๋กœ๋ฅผ ๊ฐ€์งˆ ์ˆ˜ ์žˆ์Œ์„ ์‹œ์‚ฌํ•ฉ๋‹ˆ๋‹ค.
โ€ข
๋ฉ”์ปค๋‹ˆ์ฆ˜ ํ•ด์„ ๋„๊ตฌ๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ ํŠธ๋žœ์Šคํฌ๋จธ๊ฐ€ ์กฐํ•ฉ์  ์ถ”๋ก  ์ž‘์—…์„ ํ•ด๊ฒฐํ•˜๋Š” ๋ฐฉ์‹์— ๋Œ€ํ•œ ์ข…๋‹จ๊ฐ„ ์•Œ๊ณ ๋ฆฌ์ฆ˜์  ์„ค๋ช…์„ ๋ณต๊ตฌํ•  ์ˆ˜ ์žˆ์Œ์„ ์ž…์ฆํ•ฉ๋‹ˆ๋‹ค.
โ€ข
๋ณธ ์—ฐ๊ตฌ ๊ฒฐ๊ณผ๋Š” ํŠน์ • ๋ฌธ์ œ(์Šค๋„์ฟ ) ๋ฐ ํŠน์ • ์•„ํ‚คํ…์ฒ˜(8๊ณ„์ธต ํŠธ๋žœ์Šคํฌ๋จธ)์— ๊ตญํ•œ๋  ์ˆ˜ ์žˆ์œผ๋ฉฐ, ๋‹ค๋ฅธ ๋ณต์žกํ•œ ์ถ”๋ก  ์ž‘์—…์ด๋‚˜ ๋” ํฐ ๋ชจ๋ธ์— ์ผ๋ฐ˜ํ™”ํ•˜๊ธฐ ์œ„ํ•œ ์ถ”๊ฐ€ ์—ฐ๊ตฌ๊ฐ€ ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค.
๐Ÿ‘
Made with Slashpage