Sign In

AutoBaxBuilder: Bootstrapping Code Security Benchmarking

์ž‘์„ฑ์ž
  • Haebom
์นดํ…Œ๊ณ ๋ฆฌ
Empty

์ €์ž

Tobias von Arx, Niels Mundler, Mark Vero, Maximilian Baader, Martin Vechev

๐Ÿ’ก ๊ฐœ์š”

๋ณธ ๋…ผ๋ฌธ์€ ๋Œ€๊ทœ๋ชจ ์–ธ์–ด ๋ชจ๋ธ(LLM)์ด ์ƒ์„ฑํ•œ ์ฝ”๋“œ์˜ ๋ณด์•ˆ ์ทจ์•ฝ์„ฑ ํ‰๊ฐ€๋ฅผ ์œ„ํ•œ ์ž๋™ํ™”๋œ ๋ฒค์น˜๋งˆํ‚น ๋„๊ตฌ์ธ AutoBaxBuilder๋ฅผ ์ œ์•ˆํ•ฉ๋‹ˆ๋‹ค. ์ˆ˜๋™์œผ๋กœ ๊ตฌ์ถ•๋˜๋Š” ๊ธฐ์กด ๋ฒค์น˜๋งˆํฌ์˜ ํ•œ๊ณ„๋ฅผ ๊ทน๋ณตํ•˜๊ธฐ ์œ„ํ•ด, LLM์˜ ์ฝ”๋“œ ์ดํ•ด ๋Šฅ๋ ฅ์„ ํ™œ์šฉํ•˜์—ฌ ๊ธฐ๋Šฅ ํ…Œ์ŠคํŠธ์™€ ๋ณด์•ˆ ์ทจ์•ฝ์  ํƒ์ง€์šฉ ์ต์Šคํ”Œ๋กœ์ž‡์„ ์ž๋™์œผ๋กœ ์ƒ์„ฑํ•ฉ๋‹ˆ๋‹ค. ์ด๋ฅผ ํ†ตํ•ด ๋ฒค์น˜๋งˆํฌ ๊ตฌ์ถ•์— ํ•„์š”ํ•œ ์‹œ๊ฐ„๊ณผ ๋น„์šฉ์„ ํš๊ธฐ์ ์œผ๋กœ ์ ˆ๊ฐํ•˜๊ณ , ํ›ˆ๋ จ ๋ฐ์ดํ„ฐ ์˜ค์—ผ ๋ฐฉ์ง€ ๋ฐ ์ง€์†์ ์ธ ๋ฒค์น˜๋งˆํฌ ํ™•์žฅ์ด ๊ฐ€๋Šฅํ•ด์ง‘๋‹ˆ๋‹ค.

๐Ÿ”‘ ์‹œ์‚ฌ์  ๋ฐ ํ•œ๊ณ„

โ€ข
LLM์œผ๋กœ ์ƒ์„ฑ๋œ ์ฝ”๋“œ์˜ ๋ณด์•ˆ์„ฑ์„ ๊ฐ๊ด€์ ์œผ๋กœ ํ‰๊ฐ€ํ•˜๊ธฐ ์œ„ํ•œ ์ž๋™ํ™”๋œ ๋ฒค์น˜๋งˆํ‚น ๋ฐฉ๋ฒ•๋ก ์„ ์ œ์‹œํ•ฉ๋‹ˆ๋‹ค.
โ€ข
์ „๋ฌธ๊ฐ€์˜ ์ˆ˜๋™ ์ž‘์—… ์—†์ด๋„ ๋น„์šฉ ํšจ์œจ์ ์œผ๋กœ ์ƒˆ๋กœ์šด ๋ณด์•ˆ ๋ฒค์น˜๋งˆํฌ๋ฅผ ์ง€์†์ ์œผ๋กœ ์ƒ์„ฑํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
โ€ข
ํ˜„์žฌ LLM ์„ฑ๋Šฅ์— ๋Œ€ํ•œ ์ข…ํ•ฉ์ ์ธ ํ‰๊ฐ€๋ฅผ ์ œ๊ณตํ•˜๋ฉฐ, ํ–ฅํ›„ LLM ๊ธฐ๋ฐ˜ ์†Œํ”„ํŠธ์›จ์–ด ๊ฐœ๋ฐœ์˜ ์‹ ๋ขฐ์„ฑ ํ–ฅ์ƒ์— ๊ธฐ์—ฌํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
โ€ข
AutoBaxBuilder๊ฐ€ ์ƒ์„ฑํ•œ ๋ฒค์น˜๋งˆํฌ์˜ ํ’ˆ์งˆ์„ ๋ณด์žฅํ•˜๊ธฐ ์œ„ํ•œ ์ถ”๊ฐ€์ ์ธ ๊ฒ€์ฆ ์ ˆ์ฐจ ๋ฐ ๋‹ค์–‘ํ•œ ์ข…๋ฅ˜์˜ ๋ณด์•ˆ ์ทจ์•ฝ์ ์— ๋Œ€ํ•œ ํฌ๊ด„์ ์ธ ํƒ์ง€ ๋Šฅ๋ ฅ ๊ฐ•ํ™”๊ฐ€ ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค.
๐Ÿ‘
Made with Slashpage