Sign In

GEO-Bench: Benchmarking Ranking Manipulation in Generative Engine Optimization

์ž‘์„ฑ์ž
  • Haebom
์นดํ…Œ๊ณ ๋ฆฌ
Empty

์ €์ž

Ojas Nimase, Zhe Chen, Gengpei Qi, Yue Zhao, Xiyang Hu

๐Ÿ’ก ๊ฐœ์š”

๋ณธ ๋…ผ๋ฌธ์€ ๋Œ€๊ทœ๋ชจ ์–ธ์–ด ๋ชจ๋ธ(LLM)์˜ ์ˆœ์œ„ ์กฐ์ž‘ ๋ฌธ์ œ์— ๋Œ€ํ•œ ํ•ด๊ฒฐ์ฑ…์„ ์ œ์‹œํ•ฉ๋‹ˆ๋‹ค. ์ด๋ฅผ ์œ„ํ•ด ๋‹ค์–‘ํ•œ ์ƒ์„ฑ ์—”์ง„ ์ตœ์ ํ™”(GEO) ๊ณต๊ฒฉ ๋ฐฉ๋ฒ•๋ก ์„ ํ•˜๋‚˜์˜ ํ‘œ์ค€ํ™”๋œ ํ”„๋กœํ† ์ฝœ ํ•˜์— ํ‰๊ฐ€ํ•˜๋Š” ๋ฒค์น˜๋งˆํฌ์ธ GEO-Bench๋ฅผ ์ œ์•ˆํ•ฉ๋‹ˆ๋‹ค. GEO-Bench๋Š” ๊ณต๊ฒฉ์˜ ํšจ๊ณผ์„ฑ๊ณผ ์€๋ฐ€์„ฑ์„ ์ธก์ •ํ•˜๋ฉฐ, ๋ธ”๋ž™๋ฐ•์Šค ๋ฐ ํ™”์ดํŠธ๋ฐ•์Šค ๊ณต๊ฒฉ, ๊ทธ๋ฆฌ๊ณ  C-SEO ์ „๋žต์„ ๋น„๊ต ํ‰๊ฐ€ํ•˜์—ฌ ์ด๋“ค ๊ฐ„์˜ ์ƒ๋Œ€์ ์ธ ๊ฐ•์ ๊ณผ ํƒ์ง€ ๊ฐ€๋Šฅ์„ฑ์„ ๋ช…ํ™•ํžˆ ํ•ฉ๋‹ˆ๋‹ค.

๐Ÿ”‘ ์‹œ์‚ฌ์  ๋ฐ ํ•œ๊ณ„

โ€ข
๋ธ”๋ž™๋ฐ•์Šค ์ฝ˜ํ…์ธ  ์žฌ์ž‘์„ฑ ๊ณต๊ฒฉ์ด ํ™”์ดํŠธ๋ฐ•์Šค ๊ฒฝ์‚ฌ ๊ธฐ๋ฐ˜ ๊ณต๊ฒฉ๊ณผ ๋™๋“ฑํ•˜๊ฑฐ๋‚˜ ์šฐ์ˆ˜ํ•œ ์„ฑ๋Šฅ์„ ๋ณด์ด๋ฉด์„œ๋„ ๋” ์ž์—ฐ์Šค๋Ÿฌ์šด ํ…์ŠคํŠธ๋ฅผ ์ƒ์„ฑํ•˜๋ฉฐ, ์ผ๋ถ€ ๋„๋ฉ”์ธ์—์„œ๋Š” ํƒ์ง€๋ฅผ ํšŒํ”ผํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
โ€ข
๊ณต๊ฒฉ ๋ฐฉ๋ฒ•๋ก ์˜ ํšจ๊ณผ์„ฑ๊ณผ ์€๋ฐ€์„ฑ ์‚ฌ์ด์—๋Š” ์ƒ์ถฉ ๊ด€๊ณ„๊ฐ€ ์กด์žฌํ•˜๋ฉฐ, ๋ชจ๋ธ ์ ‘๊ทผ ๋ฐฉ์‹(๋ธ”๋ž™๋ฐ•์Šค vs ํ™”์ดํŠธ๋ฐ•์Šค)์ด ๊ณต๊ฒฉ ๊ฐ•๋„๋ฅผ ์˜ˆ์ธกํ•˜์ง€ ๋ชปํ•ฉ๋‹ˆ๋‹ค.
โ€ข
GEO-Bench๋Š” ๋‹ค์–‘ํ•œ ๊ณต๊ฒฉ ๋ฐฉ๋ฒ•๋ก ์˜ ์ง์ ‘์ ์ธ ๋น„๊ต๋ฅผ ๊ฐ€๋Šฅํ•˜๊ฒŒ ํ•˜๊ณ  ํƒ์ง€ ๋ฐฉ๋ฒ• ๊ฐœ๋ฐœ์„ ์ง€์›ํ•˜์ง€๋งŒ, ํ–ฅํ›„ ๋” ๋‹ค์–‘ํ•œ LLM ๋ชจ๋ธ๊ณผ ๋ฐ์ดํ„ฐ์…‹์— ๋Œ€ํ•œ ํฌ๊ด„์ ์ธ ํ‰๊ฐ€๊ฐ€ ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค.
๐Ÿ‘
Made with Slashpage