Sign In

Experimentation Accelerator: Interpretable Insights and Creative Recommendations for A/B Testing with Content-Aware ranking

Created by
  • Haebom
Category
Empty

์ €์ž

Zhengmian Hu, Lei Shi, Ritwik Sinha, Justin Grover, David Arbour

๐Ÿ’ก ๊ฐœ์š”

๋ณธ ๋…ผ๋ฌธ์€ ์˜จ๋ผ์ธ ์‹คํ—˜์˜ ๋‘ ๊ฐ€์ง€ ์ฃผ์š” ๋ณ‘๋ชฉ ํ˜„์ƒ์ธ ํฌ์†Œํ•œ ํŠธ๋ž˜ํ”ฝ์œผ๋กœ ์ธํ•œ ํ…Œ์ŠคํŠธ ์šฐ์„ ์ˆœ์œ„ ๊ฒฐ์ •์˜ ์–ด๋ ค์›€๊ณผ ์ˆ˜๋™์ ์ด๊ณ  ๋‚ด์šฉ ๋น„์ธ์ง€์ ์ธ ์‚ฌํ›„ ํ†ต์ฐฐ๋ ฅ ์ถ”์ถœ ๋ฌธ์ œ๋ฅผ ํ•ด๊ฒฐํ•˜๊ธฐ ์œ„ํ•œ ํ†ตํ•ฉ ํ”„๋ ˆ์ž„์›Œํฌ๋ฅผ ์ œ์•ˆํ•ฉ๋‹ˆ๋‹ค. ์ œ์•ˆ๋œ ๋ฐฉ๋ฒ•๋ก ์€ ์น˜๋ฃŒ๋ฒ• ์ž„๋ฒ ๋”ฉ๊ณผ ๊ณผ๊ฑฐ ๊ฒฐ๊ณผ๋ฅผ ํ™œ์šฉํ•˜์—ฌ ๊ฐ€์น˜์™€ ์ฝ˜ํ…์ธ  ๋‹ค์–‘์„ฑ์„ ๊ท ํ˜• ์žˆ๊ฒŒ ๊ณ ๋ คํ•˜๋Š” CTR ์ˆœ์œ„ ๋ชจ๋ธ์„ ํ•™์Šต์‹œํ‚ค๊ณ , ์ด๋ฅผ ํ†ตํ•ด ์–ด๋–ค ๋ณ€ํ˜•์„ ํ…Œ์ŠคํŠธํ• ์ง€ ์šฐ์„ ์ˆœ์œ„๋ฅผ ์ •ํ•˜๊ณ , ์Šน๋ฆฌ ์š”์ธ์„ ์„ค๋ช…ํ•˜๋ฉฐ, ์ž ์žฌ๋ ฅ ๋†’์€ ์‹ ๊ทœ ๋ณ€ํ˜•์— ๋Œ€ํ•œ ํƒ€๊ฒŸ ๊ธฐํšŒ๋ฅผ ๋ฐœ๊ตดํ•ฉ๋‹ˆ๋‹ค.

๐Ÿ”‘ ์‹œ์‚ฌ์  ๋ฐ ํ•œ๊ณ„

โ€ข
์ฝ˜ํ…์ธ  ์ธ์‹ ๊ธฐ๋ฐ˜์˜ A/B ํ…Œ์ŠคํŠธ ํšจ์œจ์„ฑ ์ฆ๋Œ€: ์ฝ˜ํ…์ธ  ์ž„๋ฒ ๋”ฉ์„ ํ™œ์šฉํ•˜์—ฌ ์‹คํ—˜ ๋ณ€ํ˜•์˜ ์šฐ์„ ์ˆœ์œ„๋ฅผ ํšจ๊ณผ์ ์œผ๋กœ ์ •ํ•˜๊ณ , ์Šน๋ฆฌ ์š”์ธ์„ ์„ค๋ช…ํ•˜๋ฉฐ, ์ƒˆ๋กœ์šด ๊ณ ์ž ์žฌ๋ ฅ ๋ณ€ํ˜•์„ ๋ฐœ๊ตดํ•จ์œผ๋กœ์จ A/B ํ…Œ์ŠคํŠธ์˜ ํšจ์œจ์„ฑ์„ ํฌ๊ฒŒ ํ–ฅ์ƒ์‹œํ‚ฌ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
โ€ข
์‹คํ–‰ ๊ฐ€๋Šฅํ•œ ์ฐฝ์˜์  ์•„์ด๋””์–ด ์ œ๊ณต: ๊ธฐ๊ณ„ ํ•™์Šต ๋ชจ๋ธ์„ ํ†ตํ•ด ๋„์ถœ๋œ ํ†ต์ฐฐ๋ ฅ์„ ๊ธฐ๋ฐ˜์œผ๋กœ LLM์ด ๊ตฌ์ฒด์ ์ธ ํฌ๋ฆฌ์—์ดํ‹ฐ๋ธŒ ์ œ์•ˆ์„ ์ƒ์„ฑํ•˜์—ฌ ์‹คํ—˜ ์ฃผ๊ธฐ ๋‹จ์ถ• ๋ฐ ์ •๋ณด ์ œ๊ณต ๊ฐ•ํ™”์— ๊ธฐ์—ฌํ•ฉ๋‹ˆ๋‹ค.
โ€ข
ํ•ด์„ ๊ฐ€๋Šฅ์„ฑ ๋ฐ ํ†ตํ•ฉ: ์น˜๋ฃŒ๋ฒ• ์ž„๋ฒ ๋”ฉ์„ ์˜๋ฏธ๋ก ์  ๋งˆ์ผ€ํŒ… ์†์„ฑ์œผ๋กœ ํˆฌ์˜ํ•˜๊ณ  ๋ช…ํ™•ํ•œ ๊ณ„์ˆ˜๋ฅผ ์ œ๊ณตํ•จ์œผ๋กœ์จ ๋ชจ๋ธ์˜ ํ•ด์„ ๊ฐ€๋Šฅ์„ฑ์„ ๋†’์ด๋ฉฐ, ์‹ค์ œ Adobe ์ œํ’ˆ์— ํ†ตํ•ฉ๋˜์–ด ๊ณ ๊ฐ์—๊ฒŒ AI ๊ธฐ๋ฐ˜ ์‹คํ—˜ ๊ฐ€์†ํ™” ๊ธฐ๋Šฅ์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.
๐Ÿ‘