Sign In

RTL-BenchMT: Dynamic Maintenance of RTL Generation Benchmark Through Agent-Assisted Analysis and Revision

์ž‘์„ฑ์ž
  • Haebom
์นดํ…Œ๊ณ ๋ฆฌ
Empty

์ €์ž

Jing Wang, Shang Liu, Hangan Zhou, Zhiyao Xie

๐Ÿ’ก ๊ฐœ์š”

๋ณธ ๋…ผ๋ฌธ์€ LLM ๊ธฐ๋ฐ˜ RTL ์ƒ์„ฑ ๋ฒค์น˜๋งˆํฌ์˜ ๋™์  ์œ ์ง€๋ณด์ˆ˜๋ฅผ ์œ„ํ•œ ์—์ด์ „ํŠธ ํ”„๋ ˆ์ž„์›Œํฌ์ธ RTL-BenchMT๋ฅผ ์ œ์•ˆํ•ฉ๋‹ˆ๋‹ค. ํ˜„์žฌ RTL ๋ฒค์น˜๋งˆํฌ๋Š” ๊ฒฐํ•จ ์‚ฌ๋ก€์™€ ๊ณผ์ ํ•ฉ ๋ฌธ์ œ์— ์ง๋ฉดํ•ด ์žˆ์œผ๋ฉฐ, ์ด๋Š” ์ˆ˜๋™ ์—”์ง€๋‹ˆ์–ด๋ง๋งŒ์œผ๋กœ๋Š” ํ•ด๊ฒฐํ•˜๊ธฐ ์–ด๋ ต์Šต๋‹ˆ๋‹ค. RTL-BenchMT๋Š” ์ด๋Ÿฌํ•œ ๋ฌธ์ œ๋ฅผ ์ž๋™ํ™”ํ•˜์—ฌ ๋ฒค์น˜๋งˆํฌ ์‚ฌ๋ก€๋ฅผ ์‹๋ณ„ ๋ฐ ์ˆ˜์ •ํ•˜๊ณ  ๊ณผ์ ํ•ฉ ์‚ฌ๋ก€๋ฅผ ํƒ์ง€ ๋ฐ ์—…๋ฐ์ดํŠธํ•จ์œผ๋กœ์จ ๋ฒค์น˜๋งˆํฌ์˜ ์งˆ์„ ํ–ฅ์ƒ์‹œํ‚ต๋‹ˆ๋‹ค.

๐Ÿ”‘ ์‹œ์‚ฌ์  ๋ฐ ํ•œ๊ณ„

โ€ข
LLM ๊ธฐ๋ฐ˜ RTL ์ƒ์„ฑ ์—ฐ๊ตฌ์—์„œ ๋ฒค์น˜๋งˆํฌ์˜ ์ค‘์š”์„ฑ์„ ๊ฐ•์กฐํ•˜๊ณ , ์ž๋™ํ™”๋œ ๋ฒค์น˜๋งˆํฌ ์œ ์ง€๋ณด์ˆ˜ ํ”„๋ ˆ์ž„์›Œํฌ์˜ ํ•„์š”์„ฑ์„ ์ œ์‹œํ•ฉ๋‹ˆ๋‹ค.
โ€ข
๊ฒฐํ•จ ๋ฐ ๊ณผ์ ํ•ฉ ์‚ฌ๋ก€๋ฅผ ์ž๋™์œผ๋กœ ์‹๋ณ„ํ•˜๊ณ  ์ˆ˜์ •ํ•˜๋Š” ์—์ด์ „ํŠธ ๊ธฐ๋ฐ˜ ์ ‘๊ทผ ๋ฐฉ์‹์„ ํ†ตํ•ด ๋ฒค์น˜๋งˆํฌ ์œ ์ง€๋ณด์ˆ˜ ๋น„์šฉ์„ ์ ˆ๊ฐํ•  ์ˆ˜ ์žˆ๋Š” ๊ฐ€๋Šฅ์„ฑ์„ ๋ณด์—ฌ์ค๋‹ˆ๋‹ค.
โ€ข
์ œ์•ˆ๋œ RTL-BenchMT ํ”„๋ ˆ์ž„์›Œํฌ๋Š” ์‹ค์ œ ๋ฒค์น˜๋งˆํฌ ๋ถ„์„ ๋ฐ ๊ฐœ์„ ์— ์„ฑ๊ณต์ ์œผ๋กœ ์ ์šฉ๋˜์—ˆ์œผ๋ฉฐ, ์ปค๋ฎค๋‹ˆํ‹ฐ์— ๊ณต๊ฐœ๋  ์˜ˆ์ •์ž…๋‹ˆ๋‹ค.
โ€ข
์—์ด์ „ํŠธ์˜ ์„ฑ๋Šฅ์ด LLM์˜ ๋Šฅ๋ ฅ์— ์˜์กด์ ์ด๋ฏ€๋กœ, LLM์˜ ํ•œ๊ณ„๊ฐ€ ํ”„๋ ˆ์ž„์›Œํฌ์˜ ์ „๋ฐ˜์ ์ธ ์„ฑ๋Šฅ์— ์˜ํ–ฅ์„ ๋ฏธ์น  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
๐Ÿ‘
Made with Slashpage