Sign In

Explainable AI: Context-Aware Layer-Wise Integrated Gradients for Explaining Transformer Models

์ž‘์„ฑ์ž
  • Haebom
์นดํ…Œ๊ณ ๋ฆฌ
Empty

์ €์ž

Melkamu Abay Mersha, Jugal Kalita

๐Ÿ’ก ๊ฐœ์š”

๋ณธ ๋…ผ๋ฌธ์€ ํŠธ๋žœ์Šคํฌ๋จธ ๋ชจ๋ธ์˜ ์˜ˆ์ธก ํ•ด์„์˜ ์–ด๋ ค์›€์„ ํ•ด๊ฒฐํ•˜๊ธฐ ์œ„ํ•ด ๋งฅ๋ฝ ์ธ์ง€ ๊ณ„์ธต๋ณ„ ํ†ตํ•ฉ ๊ทธ๋ž˜๋””์–ธํŠธ (CA-LIG) ํ”„๋ ˆ์ž„์›Œํฌ๋ฅผ ์ œ์•ˆํ•œ๋‹ค. CA-LIG๋Š” ๊ฐ ํŠธ๋žœ์Šคํฌ๋จธ ๋ธ”๋ก ๋‚ด์—์„œ ๊ณ„์ธต๋ณ„ ํ†ตํ•ฉ ๊ทธ๋ž˜๋””์–ธํŠธ๋ฅผ ๊ณ„์‚ฐํ•˜๊ณ  ์ด๋ฅผ ํด๋ž˜์Šค๋ณ„ ์–ดํ…์…˜ ๊ทธ๋ž˜๋””์–ธํŠธ์™€ ํ†ตํ•ฉํ•˜์—ฌ, ๊ณ„์ธต์„ ๋„˜๋‚˜๋“œ๋Š” ๊ด€๋ จ์„ฑ์˜ ํ๋ฆ„์„ ์ถ”์ ํ•˜๋Š” ๋งฅ๋ฝ ๋ฏผ๊ฐํ•œ ์†์„ฑ ๋งต์„ ์ƒ์„ฑํ•œ๋‹ค. ์ œ์•ˆ๋œ ํ”„๋ ˆ์ž„์›Œํฌ๋Š” ๋‹ค์–‘ํ•œ ์ž‘์—…, ๋„๋ฉ”์ธ ๋ฐ ํŠธ๋žœ์Šคํฌ๋จธ ๋ชจ๋ธ์—์„œ ๊ธฐ์กด ๋ฐฉ๋ฒ•๋ณด๋‹ค ๋” ์ถฉ์‹คํ•˜๊ณ  ๋งฅ๋ฝ์— ๋ฏผ๊ฐํ•œ ์„ค๋ช…์„ ์ œ๊ณตํ•œ๋‹ค.

๐Ÿ”‘ ์‹œ์‚ฌ์  ๋ฐ ํ•œ๊ณ„

โ€ข
ํŠธ๋žœ์Šคํฌ๋จธ ๋ชจ๋ธ์˜ ๊ณ„์ธต ๊ตฌ์กฐ๋ฅผ ๊ณ ๋ คํ•œ ํ†ตํ•ฉ์ ์ธ ์„ค๋ช… ๋ฐฉ๋ฒ•์„ ์ œ์‹œํ•˜์—ฌ ํ•ด์„ ๊ฐ€๋Šฅ์„ฑ์„ ํ–ฅ์ƒ์‹œํ‚จ๋‹ค.
โ€ข
๋งฅ๋ฝ์  ์˜์กด์„ฑ๊ณผ ๊ตฌ์กฐ์  ์š”์†Œ๊ฐ€ ์˜์‚ฌ ๊ฒฐ์ •์— ๋ฏธ์น˜๋Š” ์˜ํ–ฅ์„ ํฌ์ฐฉํ•˜์—ฌ ๋ณด๋‹ค ์‹ ๋ขฐํ•  ์ˆ˜ ์žˆ๋Š” ์„ค๋ช…์„ ์ œ๊ณตํ•œ๋‹ค.
โ€ข
๋‹ค์–‘ํ•œ ๋ชจ๋ธ๊ณผ ์ž‘์—…์— ๋Œ€ํ•œ ์„ฑ๊ณต์ ์ธ ํ‰๊ฐ€๋ฅผ ํ†ตํ•ด CA-LIG์˜ ์ผ๋ฐ˜ํ™” ๊ฐ€๋Šฅ์„ฑ์„ ์ž…์ฆํ•œ๋‹ค.
โ€ข
ํ–ฅํ›„ ์—ฐ๊ตฌ์—์„œ๋Š” CA-LIG์˜ ๊ณ„์‚ฐ ํšจ์œจ์„ฑ์„ ๊ฐœ์„ ํ•˜๊ณ , ์„ค๋ช…์˜ ์‚ฌ์šฉ์ž ์นœํ™”์„ฑ์„ ๋†’์ด๋Š” ๋ฐฉํ–ฅ์œผ๋กœ ๋ฐœ์ „์ด ํ•„์š”ํ•˜๋‹ค.
๐Ÿ‘
Made with Slashpage