Sign In

Beyond Offline A/B Testing: Context-Aware Agent Simulation for Recommender System Evaluation

์ž‘์„ฑ์ž
  • Haebom
์นดํ…Œ๊ณ ๋ฆฌ
Empty

์ €์ž

Nicolas Bougie, Gian Maria Marconi, Xiaotong Ye, Narimasa Watanabe

๐Ÿ’ก ๊ฐœ์š”

์ด ๋…ผ๋ฌธ์€ ์ถ”์ฒœ ์‹œ์Šคํ…œ ํ‰๊ฐ€์˜ ๊ธฐ์กด ์˜คํ”„๋ผ์ธ A/B ํ…Œ์ŠคํŠธ ๋ฐฉ์‹์ด ์˜จ๋ผ์ธ ์„ฑ๋Šฅ๊ณผ์˜ ๊ดด๋ฆฌ๊ฐ€ ์žˆ๋‹ค๋Š” ๋ฌธ์ œ๋ฅผ ์ง€์ ํ•˜๋ฉฐ, LLM ๊ธฐ๋ฐ˜์˜ ์—์ด์ „ํŠธ ์‹œ๋ฎฌ๋ ˆ์ด์…˜์„ ์ œ์•ˆํ•ฉ๋‹ˆ๋‹ค. ์ œ์•ˆ๋œ ContextSim ํ”„๋ ˆ์ž„์›Œํฌ๋Š” ์‹œ๊ฐ„, ์žฅ์†Œ, ๋‹ˆ์ฆˆ์™€ ๊ฐ™์€ ๋งฅ๋ฝ์  ์š”์†Œ๋ฅผ ๊ณ ๋ คํ•˜์—ฌ ์ผ์ƒ์ƒํ™œ ํ™œ๋™์— ๊ธฐ๋ฐ˜ํ•œ ํ˜„์‹ค์ ์ธ ์‚ฌ์šฉ์ž ํ”„๋ก์‹œ๋ฅผ ์‹œ๋ฎฌ๋ ˆ์ด์…˜ํ•ฉ๋‹ˆ๋‹ค. ์ด๋ฅผ ํ†ตํ•ด ๊ธฐ์กด ๋ฐฉ๋ฒ•๋ก ๋ณด๋‹ค ์ธ๊ฐ„ ํ–‰๋™๊ณผ ๋” ์œ ์‚ฌํ•œ ์ƒํ˜ธ์ž‘์šฉ์„ ์ƒ์„ฑํ•˜๊ณ , ์‹ค์ œ ์ถ”์ฒœ ์‹œ์Šคํ…œ ์„ฑ๋Šฅ ํ–ฅ์ƒ์œผ๋กœ ์ด์–ด์ง์„ ์‹คํ—˜์ ์œผ๋กœ ๊ฒ€์ฆํ–ˆ์Šต๋‹ˆ๋‹ค.

๐Ÿ”‘ ์‹œ์‚ฌ์  ๋ฐ ํ•œ๊ณ„

โ€ข
๋งฅ๋ฝ์„ ๊ณ ๋ คํ•œ ์‚ฌ์šฉ์ž ์‹œ๋ฎฌ๋ ˆ์ด์…˜์˜ ์ค‘์š”์„ฑ: ์ถ”์ฒœ ์‹œ์Šคํ…œ ํ‰๊ฐ€์—์„œ ๋‹จ์ˆœํžˆ ๊ฐœ๋ณ„ ์‚ฌ์šฉ์ž๊ฐ€ ์•„๋‹Œ, ์‹ค์ œ ์ƒํ™œ ๋งฅ๋ฝ ์†์—์„œ์˜ ์˜์‚ฌ๊ฒฐ์ •์„ ๋ฐ˜์˜ํ•˜๋Š” ๊ฒƒ์ด ์ค‘์š”ํ•จ์„ ์‹œ์‚ฌํ•ฉ๋‹ˆ๋‹ค.
โ€ข
LLM ์—์ด์ „ํŠธ์˜ ํ˜„์‹ค์ ์ธ ํ–‰๋™ ๋ชจ๋ธ๋ง: LLM ์—์ด์ „ํŠธ๋ฅผ ํ™œ์šฉํ•˜์—ฌ ์‚ฌ์šฉ์ž์˜ ๋‚ด๋ฉด์  ์‚ฌ๊ณ ์™€ ํ–‰๋™ ์ผ๊ด€์„ฑ์„ ๋ชจ๋ธ๋งํ•จ์œผ๋กœ์จ, ๋ณด๋‹ค ์‚ฌ์‹ค์ ์ธ ์‚ฌ์šฉ์ž ํ–‰๋™ ์‹œ๋ฎฌ๋ ˆ์ด์…˜์ด ๊ฐ€๋Šฅํ•จ์„ ๋ณด์—ฌ์ค๋‹ˆ๋‹ค.
โ€ข
์ถ”์ฒœ ์‹œ์Šคํ…œ ์ตœ์ ํ™”์˜ ์ƒˆ๋กœ์šด ๋ฐฉํ–ฅ ์ œ์‹œ: ContextSim์„ ํ™œ์šฉํ•œ ์‹œ๋ฎฌ๋ ˆ์ด์…˜ ๊ธฐ๋ฐ˜์˜ ์ตœ์ ํ™”๊ฐ€ ์‹ค์ œ ์˜จ๋ผ์ธ ํ™˜๊ฒฝ์—์„œ์˜ ์‚ฌ์šฉ์ž ์ฐธ์—ฌ๋„ ํ–ฅ์ƒ์œผ๋กœ ์ด์–ด์งˆ ์ˆ˜ ์žˆ์Œ์„ ์ž…์ฆํ•˜์—ฌ, ํ–ฅํ›„ ์ถ”์ฒœ ์‹œ์Šคํ…œ ํ‰๊ฐ€ ๋ฐ ๊ฐœ๋ฐœ ๋ฐฉํ–ฅ์— ๋Œ€ํ•œ ์ƒˆ๋กœ์šด ๊ฐ€๋Šฅ์„ฑ์„ ์ œ์‹œํ•ฉ๋‹ˆ๋‹ค.
โ€ข
๋งฅ๋ฝ ์ •๋ณด์˜ ํฌ๊ด„์„ฑ ๋ฐ ์—์ด์ „ํŠธ ํ–‰๋™์˜ ๋ณต์žก์„ฑ: ์‹œ๋ฎฌ๋ ˆ์ด์…˜์—์„œ ๊ณ ๋ คํ•  ์ˆ˜ ์žˆ๋Š” ๋งฅ๋ฝ ์ •๋ณด์˜ ๋ฒ”์œ„์™€ ์—์ด์ „ํŠธ์˜ ๋ณต์žกํ•œ ์˜์‚ฌ๊ฒฐ์ • ๊ณผ์ •์„ ์–ผ๋งˆ๋‚˜ ๊นŠ์ด ์žˆ๊ฒŒ ๋ชจ๋ธ๋งํ•  ์ˆ˜ ์žˆ๋Š”์ง€์— ๋Œ€ํ•œ ์ถ”๊ฐ€์ ์ธ ์—ฐ๊ตฌ๊ฐ€ ํ•„์š”ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
๐Ÿ‘
Made with Slashpage