Sign In

STABLEVAL: Disagreement-Aware and Stable Evaluation of AI Systems

์ž‘์„ฑ์ž
  • Haebom
์นดํ…Œ๊ณ ๋ฆฌ
Empty

์ €์ž

Akash Bonagiri, Gerard Janno Anderias, Saee Patil, Angelina Lai, Devang Borkar, Gezheng Kang, Ishant Gandhi, Setareh Rafatirad, Houman Homayoun

๐Ÿ’ก ๊ฐœ์š”

๋ณธ ๋…ผ๋ฌธ์€ ๊ธฐ์กด AI ์‹œ์Šคํ…œ ํ‰๊ฐ€ ๋ฐฉ์‹์ธ ๋‹ค์ˆ˜๊ฒฐ ํˆฌํ‘œ ๋ฐฉ์‹์ด ์ฃผ์„์ž ๊ฐ„์˜ ๋ถˆ์ผ์น˜, ํŽธํ–ฅ, ๋ณ€๋™์„ฑ์œผ๋กœ ์ธํ•ด ์‹œ์Šคํ…œ ์ˆœ์œ„๊ฐ€ ๋ถˆ์•ˆ์ •ํ•ด์ง€๋Š” ๋ฌธ์ œ๋ฅผ ์ง€์ ํ•ฉ๋‹ˆ๋‹ค. ์ด๋ฅผ ํ•ด๊ฒฐํ•˜๊ธฐ ์œ„ํ•ด STABLEVAL์ด๋ผ๋Š” ์ƒˆ๋กœ์šด ํ‰๊ฐ€ ํ”„๋ ˆ์ž„์›Œํฌ๋ฅผ ์ œ์•ˆํ•˜๋ฉฐ, ํ•ญ๋ชฉ์˜ ์ž ์žฌ์  ์ •ํ™•์„ฑ๊ณผ ์ฃผ์„์ž๋ณ„ ํ˜ผ๋™ ํŒจํ„ด์„ ๋ชจ๋ธ๋งํ•˜์—ฌ ์‹œ์Šคํ…œ์˜ ์‹ ๋ขฐ๋„ ๋†’์€ ์ˆœ์œ„๋ฅผ ๋„์ถœํ•ฉ๋‹ˆ๋‹ค. STABLEVAL์€ ๊ธฐ์กด ๋ผ๋ฒจ ๋ณต์› ๋ฐฉ์‹๊ณผ ๋‹ฌ๋ฆฌ ๋ถˆํ™•์‹ค์„ฑ์„ ๊ณ ๋ คํ•œ ์‹œ์Šคํ…œ ํ‰๊ฐ€์— ์ดˆ์ ์„ ๋งž์ถฐ, ๋‹ค์–‘ํ•œ ์‹คํ—˜์—์„œ ๋‹ค์ˆ˜๊ฒฐ ํˆฌํ‘œ๋ณด๋‹ค ํ›จ์”ฌ ์•ˆ์ •์ ์ด๊ณ  ํ†ต๊ณ„์ ์œผ๋กœ ์œ ์˜๋ฏธํ•œ ๊ฒฐ๊ณผ๋ฅผ ๋ณด์—ฌ์ค๋‹ˆ๋‹ค.

๐Ÿ”‘ ์‹œ์‚ฌ์  ๋ฐ ํ•œ๊ณ„

โ€ข
์ฃผ์„์ž ๊ฐ„ ๋ถˆ์ผ์น˜(disagreement)๋ฅผ ๋ช…์‹œ์ ์œผ๋กœ ๋ชจ๋ธ๋งํ•˜๋Š” ๊ฒƒ์ด AI ์‹œ์Šคํ…œ ํ‰๊ฐ€์˜ ์•ˆ์ •์„ฑ๊ณผ ์žฌํ˜„์„ฑ์„ ๋†’์ด๋Š” ๋ฐ ํ•„์ˆ˜์ ์ž…๋‹ˆ๋‹ค.
โ€ข
STABLEVAL ํ”„๋ ˆ์ž„์›Œํฌ๋Š” ํ•ญ๋ชฉ๋ณ„ ํ˜ผ๋™ ํŒจํ„ด๊ณผ ์ฃผ์„์ž๋ณ„ ์‹ ๋ขฐ๋„๋ฅผ ๊ณ ๋ คํ•˜์—ฌ, ๊ธฐ์กด ๋‹ค์ˆ˜๊ฒฐ ํˆฌํ‘œ ๋ฐฉ์‹์˜ ํ•œ๊ณ„๋ฅผ ๊ทน๋ณตํ•˜๊ณ  ๋” ๊ฒฌ๊ณ ํ•œ ์‹œ์Šคํ…œ ์ˆœ์œ„๋ฅผ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.
โ€ข
์ฃผ์„์ž ๊ฐ„์˜ ์ด์งˆ์„ฑ์ด๋‚˜ ์ ๋Œ€์  ๋…ธ์ด์ฆˆ ํ™˜๊ฒฝ์—์„œ ๋‹ค์ˆ˜๊ฒฐ ํˆฌํ‘œ์˜ ์ˆœ์œ„ ๋ถˆ์•ˆ์ •์„ฑ์ด ์ฆ๊ฐ€ํ•˜๋Š” ๋ฐ˜๋ฉด, STABLEVAL์€ ์ด๋Ÿฌํ•œ ์ƒํ™ฉ์—์„œ๋„ ์•ˆ์ •์„ฑ์„ ์œ ์ง€ํ•ฉ๋‹ˆ๋‹ค.
โ€ข
ํ–ฅํ›„ ์—ฐ๊ตฌ์—์„œ๋Š” STABLEVAL์˜ ์ ์šฉ ๋ฒ”์œ„๋ฅผ ๋„“ํžˆ๊ณ , ๋” ๋ณต์žกํ•œ ์ฃผ์„์ž ๋ชจ๋ธ๋ง ๊ธฐ๋ฒ•์„ ํƒ๊ตฌํ•  ํ•„์š”๊ฐ€ ์žˆ์Šต๋‹ˆ๋‹ค.
๐Ÿ‘
Made with Slashpage