Sign In

SAE-RNA: A Sparse Autoencoder Model for Interpreting RNA Language Model Representations

์ž‘์„ฑ์ž
  • Haebom
์นดํ…Œ๊ณ ๋ฆฌ
Empty

์ €์ž

Taehan Kim, Sangdae Nam

๐Ÿ’ก ๊ฐœ์š”

๋ณธ ๋…ผ๋ฌธ์€ RNA ์–ธ์–ด ๋ชจ๋ธ์˜ ํ‘œํ˜„์„ ํ•ด์„ํ•˜๊ธฐ ์œ„ํ•œ ํฌ์†Œ ์ž๋™ ์ธ์ฝ”๋”(SAE) ๊ธฐ๋ฐ˜ ๋ชจ๋ธ์ธ SAE-RNA๋ฅผ ์ œ์•ˆํ•ฉ๋‹ˆ๋‹ค. SAE-RNA๋Š” RiNALMo ๋ชจ๋ธ์˜ ํ‘œํ˜„์„ ๋ถ„์„ํ•˜์—ฌ ์ธ๊ฐ„์ด ์ดํ•ดํ•  ์ˆ˜ ์žˆ๋Š” ์ƒ๋ฌผํ•™์  ํŠน์ง•๊ณผ ์—ฐ๊ฒฐํ•จ์œผ๋กœ์จ RNA ์–ธ์–ด ๋ชจ๋ธ์ด ์ƒ๋ฌผํ•™์  ์ •๋ณด๋ฅผ ์–ด๋–ป๊ฒŒ ๊ตฌ์„ฑํ•˜๋Š”์ง€ ํƒ๊ตฌํ•ฉ๋‹ˆ๋‹ค. ์ด ์—ฐ๊ตฌ๋Š” RNA ๊ทธ๋ฃน์„ ๋น„๊ตํ•˜๊ณ  RNA ๊ณ„์—ด ์ •์ฒด์„ฑ ๋˜๋Š” ๊ตฌ์กฐ์  ๋งฅ๋ฝ๊ณผ ๊ด€๋ จ๋œ ํฌ์†Œ ํ‘œํ˜„ ๊ตฌ์„ฑ ์š”์†Œ๋ฅผ ์‹๋ณ„ํ•˜๋Š” ํ”„๋ ˆ์ž„์›Œํฌ๋ฅผ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.

๐Ÿ”‘ ์‹œ์‚ฌ์  ๋ฐ ํ•œ๊ณ„

โ€ข
RNA ์–ธ์–ด ๋ชจ๋ธ์˜ ๋‚ด๋ถ€ ํ‘œํ˜„์„ ํ•ด์„ ๊ฐ€๋Šฅํ•œ ๋ฐฉ์‹์œผ๋กœ ๋ถ„ํ•ดํ•˜๊ณ  ์‹œ๊ฐํ™”ํ•˜๋Š” ๋ฐฉ๋ฒ•์„ ์ œ์‹œํ•ฉ๋‹ˆ๋‹ค.
โ€ข
RNA์˜ ๊ณ„์—ด์ด๋‚˜ ๊ตฌ์กฐ์  ํŠน์ง•๊ณผ ๊ด€๋ จ๋œ ํŠน์ • ํ‘œํ˜„ ๊ตฌ์„ฑ ์š”์†Œ๋ฅผ ์‹๋ณ„ํ•˜๋Š” ๋ฐ ํ™œ์šฉ๋  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
โ€ข
SAE ๊ธฐ๋ฐ˜ ๋ถ„์„์ด ์ƒ๋ฌผํ•™์  ๊ฐœ๋…์„ ํ™•์ •์ ์œผ๋กœ ๋ฐœ๊ฒฌํ•˜๋Š” ๊ฒƒ์ด ์•„๋‹ˆ๋ผ, ์–ธ์–ด ๋ชจ๋ธ์˜ ์ •๋ณด ๊ตฌ์„ฑ ๋ฐฉ์‹์„ ํƒ์ƒ‰ํ•˜๋Š” ํ”„๋กœ๋ธŒ(probe)๋กœ ์‚ฌ์šฉ๋˜์–ด์•ผ ํ•จ์„ ๊ฐ•์กฐํ•ฉ๋‹ˆ๋‹ค.
โ€ข
RNA ๋ชจ๋ธ์˜ ๋ณต์žก์„ฑ๊ณผ ์ƒ๋ฌผํ•™์  ์ •๋ณด์˜ ๋‹ค์–‘์„ฑ์œผ๋กœ ์ธํ•ด SAE๊ฐ€ ๋ชจ๋“  ์ƒ๋ฌผํ•™์  ์˜๋ฏธ๋ฅผ ํฌ์ฐฉํ•˜๋Š” ๋ฐ ํ•œ๊ณ„๊ฐ€ ์žˆ์„ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
๐Ÿ‘
Made with Slashpage