Sign In

Evaluating the Search Agent in a Parallel World

Created by
  • Haebom
Category
Empty

์ €์ž

Jiawei Chen, Xintian Shen, Lihao Zheng, Lifu Mu, Haoyi Sun, Ning Mao, Hao Ma, Tao Wei, Pan Zhou, Kun Zhan

๐Ÿ’ก ๊ฐœ์š”

๊ธฐ์กด LLM ๊ธฐ๋ฐ˜ ๊ฒ€์ƒ‰ ์—์ด์ „ํŠธ ํ‰๊ฐ€๋Š” ๊ณ ํ’ˆ์งˆ ๋ฒค์น˜๋งˆํฌ ๊ตฌ์ถ•์˜ ์–ด๋ ค์›€, ์ธํ„ฐ๋„ท ์ •๋ณด ๋ณ€ํ™”๋กœ ์ธํ•œ ๋™์  ๋ฌธ์ œ, ํŒŒ๋ผ๋ฏธํ„ฐ ๋ฉ”๋ชจ๋ฆฌ์— ์˜ํ•œ ์„ฑ๋Šฅ ๊ณผ๋Œ€ํ‰๊ฐ€, ์ƒ์šฉ ๊ฒ€์ƒ‰ ์—”์ง„ ์˜์กด์„ฑ์œผ๋กœ ์ธํ•œ ์žฌํ˜„์„ฑ ๋ถ€์กฑ ๋“ฑ์˜ ๋ฌธ์ œ์ ์„ ์•ˆ๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ๋ณธ ์—ฐ๊ตฌ๋Š” ์ด๋Ÿฌํ•œ ๋ฌธ์ œ๋ฅผ ํ•ด๊ฒฐํ•˜๊ธฐ ์œ„ํ•ด ๋ฏธ๋ž˜ ์‹œ๋‚˜๋ฆฌ์˜ค์™€ ์ง€์‹ ์ปท์˜คํ”„ ์ดํ›„์˜ ์งˆ๋ฌธ์„ ๋ฐ”ํƒ•์œผ๋กœ ์›์ž์  ์‚ฌ์‹ค๊ณผ ๊ณ ์œ ํ•œ ์ •๋‹ต์„ ์ƒ์„ฑํ•˜๋Š” Mind-ParaWorld(MPW) ํ”„๋ ˆ์ž„์›Œํฌ๋ฅผ ์ œ์•ˆํ•ฉ๋‹ˆ๋‹ค. MPW๋Š” ๋™์ ์œผ๋กœ ์ƒ์„ฑ๋œ ๊ฒ€์ƒ‰ ๊ฒฐ๊ณผ ํŽ˜์ด์ง€(SERP)์™€ ์ƒํ˜ธ์ž‘์šฉํ•˜์—ฌ ์—์ด์ „ํŠธ์˜ ๊ฒ€์ƒ‰ ๋ฐ ์ถ”๋ก  ๋Šฅ๋ ฅ์„ ํ‰๊ฐ€ํ•ฉ๋‹ˆ๋‹ค.

๐Ÿ”‘ ์‹œ์‚ฌ์  ๋ฐ ํ•œ๊ณ„

โ€ข
๋…์ฐฝ์ ์ธ ๋ฏธ๋ž˜ ์ง€ํ–ฅ์  ํ‰๊ฐ€ ํ”„๋ ˆ์ž„์›Œํฌ: ์‹ค์ œ ์ธํ„ฐ๋„ท ๋ณ€ํ™”์™€ ์ƒ๊ด€์—†์ด ๋ฏธ๋ž˜ ์‹œ๋‚˜๋ฆฌ์˜ค๋ฅผ ๊ธฐ๋ฐ˜์œผ๋กœ ์ผ๊ด€๋˜๊ณ  ์‹ ๋ขฐํ•  ์ˆ˜ ์žˆ๋Š” ํ‰๊ฐ€ ํ™˜๊ฒฝ์„ ๊ตฌ์ถ•ํ•ฉ๋‹ˆ๋‹ค.
โ€ข
์—์ด์ „ํŠธ์˜ ์‹ค์ œ ๊ฒ€์ƒ‰ ๋ฐ ์ถ”๋ก  ๋Šฅ๋ ฅ ํ‰๊ฐ€ ๊ฐ•ํ™”: ํŒŒ๋ผ๋ฏธํ„ฐ ๋ฉ”๋ชจ๋ฆฌ ์˜์กด์„ฑ์„ ์ค„์ด๊ณ , ๋™์  SERP ์ƒ์„ฑ์„ ํ†ตํ•ด ์—์ด์ „ํŠธ์˜ ์ฆ๊ฑฐ ์ˆ˜์ง‘, ๋ฒ”์œ„, ํŒ๋‹จ, ์ค‘๋‹จ ๊ฒฐ์ • ๋“ฑ์˜ ๋Šฅ๋ ฅ์„ ๋ณด๋‹ค ์ •ํ™•ํ•˜๊ฒŒ ์ธก์ •ํ•ฉ๋‹ˆ๋‹ค.
โ€ข
ํ‰๊ฐ€์˜ ์žฌํ˜„์„ฑ ๋ฐ ์‹ ๋ขฐ์„ฑ ํ–ฅ์ƒ: ํŠน์ • ์ƒ์šฉ ๊ฒ€์ƒ‰ ์—”์ง„์— ๋Œ€ํ•œ ์˜์กด๋„๋ฅผ ๋‚ฎ์ถ”๊ณ , ์ƒ์„ฑ๋œ ๋ฒค์น˜๋งˆํฌ๋ฅผ ํ†ตํ•ด ์ผ๊ด€๋œ ํ‰๊ฐ€๋ฅผ ๊ฐ€๋Šฅํ•˜๊ฒŒ ํ•ฉ๋‹ˆ๋‹ค.
โ€ข
ํ•œ๊ณ„์ : ํ˜„์žฌ ๋ฒค์น˜๋งˆํฌ๋Š” 19๊ฐœ ๋„๋ฉ”์ธ, 1,608๊ฐœ์˜ ์ธ์Šคํ„ด์Šค๋กœ ๊ตฌ์„ฑ๋˜์–ด ์žˆ์œผ๋ฉฐ, ์—์ด์ „ํŠธ๊ฐ€ ์ต์ˆ™ํ•˜์ง€ ์•Š์€ ๊ฒ€์ƒ‰ ํ™˜๊ฒฝ์—์„œ์˜ ์ฆ๊ฑฐ ์ˆ˜์ง‘ ๋ฐ ์ปค๋ฒ„๋ฆฌ์ง€, ๊ทธ๋ฆฌ๊ณ  ์‹ ๋ขฐํ•  ์ˆ˜ ์—†๋Š” ์ฆ๊ฑฐ ์ถฉ๋ถ„์„ฑ ํŒ๋‹จ ๋ฐ ์ค‘๋‹จ ๊ฒฐ์ •์— ๋Œ€ํ•œ ์„ฑ๋Šฅ ํ•œ๊ณ„๊ฐ€ ๋“œ๋Ÿฌ๋‚ฌ์Šต๋‹ˆ๋‹ค. ํ–ฅํ›„ ๋” ๊ด‘๋ฒ”์œ„ํ•œ ๋„๋ฉ”์ธ๊ณผ ๋ณต์žก์„ฑ์„ ํฌํ•จํ•˜๋Š” ๋ฒค์น˜๋งˆํฌ ํ™•์žฅ ๋ฐ ์—์ด์ „ํŠธ์˜ ๊ฐ ๊ตฌ์„ฑ ์š”์†Œ์— ๋Œ€ํ•œ ์‹ฌ์ธต์ ์ธ ๋ถ„์„์ด ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค.
๐Ÿ‘