Daily Arxiv

์ „ ์„ธ๊ณ„์—์„œ ๋ฐœ๊ฐ„๋˜๋Š” ์ธ๊ณต์ง€๋Šฅ ๊ด€๋ จ ๋…ผ๋ฌธ์„ ์ •๋ฆฌํ•˜๋Š” ํŽ˜์ด์ง€ ์ž…๋‹ˆ๋‹ค.
๋ณธ ํŽ˜์ด์ง€๋Š” Google Gemini๋ฅผ ํ™œ์šฉํ•ด ์š”์•ฝ ์ •๋ฆฌํ•˜๋ฉฐ, ๋น„์˜๋ฆฌ๋กœ ์šด์˜ ๋ฉ๋‹ˆ๋‹ค.
๋…ผ๋ฌธ์— ๋Œ€ํ•œ ์ €์ž‘๊ถŒ์€ ์ €์ž ๋ฐ ํ•ด๋‹น ๊ธฐ๊ด€์— ์žˆ์œผ๋ฉฐ, ๊ณต์œ  ์‹œ ์ถœ์ฒ˜๋งŒ ๋ช…๊ธฐํ•˜๋ฉด ๋ฉ๋‹ˆ๋‹ค.

Do LLMs Favor LLMs? Quantifying Interaction Effects in Peer Review

Created by
  • Haebom
Category
Empty

์ €์ž

Vibhhu Sharma, Thorsten Joachims, Sarah Dean

๐Ÿ’ก ๊ฐœ์š”

๋ณธ ์—ฐ๊ตฌ๋Š” ๋Œ€๊ทœ๋ชจ ์–ธ์–ด ๋ชจ๋ธ(LLM)์ด ํ•™์ˆ  ๋…ผ๋ฌธ ๋™๋ฃŒ ํ‰๊ฐ€ ๊ณผ์ •์—์„œ ์–ด๋–ป๊ฒŒ ์‚ฌ์šฉ๋˜๋ฉฐ, ํŠนํžˆ LLM ์‚ฌ์šฉ ๋…ผ๋ฌธ๊ณผ LLM ์‚ฌ์šฉ ๋ฆฌ๋ทฐ ๊ฐ„์˜ ์ƒํ˜ธ์ž‘์šฉ ํšจ๊ณผ๋ฅผ ๋ถ„์„ํ•œ๋‹ค. 125,000๊ฐœ ์ด์ƒ์˜ ๋…ผ๋ฌธ-๋ฆฌ๋ทฐ ์Œ์„ ๋ถ„์„ํ•œ ๊ฒฐ๊ณผ, ์ดˆ๊ธฐ์—๋Š” LLM ์‚ฌ์šฉ ๋ฆฌ๋ทฐ๊ฐ€ LLM ์‚ฌ์šฉ ๋…ผ๋ฌธ์— ๋” ๊ด€๋Œ€ํ•ด ๋ณด์ด๋Š” ์ƒํ˜ธ์ž‘์šฉ ํšจ๊ณผ๊ฐ€ ๊ด€์ฐฐ๋˜์—ˆ๋‹ค. ๊ทธ๋Ÿฌ๋‚˜ ๋…ผ๋ฌธ ํ’ˆ์งˆ์„ ํ†ต์ œํ•œ ํ›„์—๋Š” LLM ์‚ฌ์šฉ ๋ฆฌ๋ทฐ๊ฐ€ ์ „๋ฐ˜์ ์œผ๋กœ ํ’ˆ์งˆ์ด ๋‚ฎ์€ ๋…ผ๋ฌธ์— ๋” ๊ด€๋Œ€ํ•˜๋ฉฐ, LLM ์‚ฌ์šฉ ๋…ผ๋ฌธ ์ค‘ ์ €ํ’ˆ์งˆ ๋…ผ๋ฌธ์˜ ๋น„์ค‘์ด ๋†’๊ธฐ ๋•Œ๋ฌธ์— ์‹ค์ œ ์„ ํ˜ธ๊ฐ€ ์•„๋‹Œ ํ—ˆ์œ„ ์ƒํ˜ธ์ž‘์šฉ ํšจ๊ณผ์ž„์ด ๋ฐํ˜€์กŒ๋‹ค.

๐Ÿ”‘ ์‹œ์‚ฌ์  ๋ฐ ํ•œ๊ณ„

โ€ข
LLM ์‚ฌ์šฉ ๋ฆฌ๋ทฐ๋Š” ํ’ˆ์งˆ์ด ๋‚ฎ์€ ๋…ผ๋ฌธ์— ์ „๋ฐ˜์ ์œผ๋กœ ๋” ๊ด€๋Œ€ํ•˜๋ฉฐ, LLM ์‚ฌ์šฉ ๋…ผ๋ฌธ๊ณผ์˜ ์ƒํ˜ธ์ž‘์šฉ ํšจ๊ณผ๋Š” ์ฃผ๋กœ ์ €ํ’ˆ์งˆ ๋…ผ๋ฌธ์˜ ๊ณผ๋Œ€ ๋Œ€ํ‘œ์—์„œ ๋น„๋กฏ๋œ ํ—ˆ์œ„ ํšจ๊ณผ์ผ ๊ฐ€๋Šฅ์„ฑ์ด ๋†’๋‹ค.
โ€ข
์ธ๊ฐ„ ๋ฆฌ๋ทฐ์–ด๊ฐ€ LLM์„ ๋ณด์กฐ์ ์œผ๋กœ ์‚ฌ์šฉํ•  ๊ฒฝ์šฐ, ์™„์ „ํžˆ LLM์ด ์ƒ์„ฑํ•œ ๋ฆฌ๋ทฐ์—์„œ ๋‚˜ํƒ€๋‚˜๋Š” ์‹ฌ๊ฐํ•œ ํ‰๊ฐ€ ์••์ถ• ํ˜„์ƒ์ด ์™„ํ™”๋˜๋Š” ๊ฒƒ์œผ๋กœ ๋‚˜ํƒ€๋‚ฌ๋‹ค.
โ€ข
๋ฉ”ํƒ€ ๋ฆฌ๋ทฐ์—์„œ LLM ์‚ฌ์šฉ ๋ฉ”ํƒ€ ๋ฆฌ๋ทฐ์–ด๋Š” ๋™์ผํ•œ ๋ฆฌ๋ทฐ์–ด ์ ์ˆ˜์—๋„ ๋ถˆ๊ตฌํ•˜๊ณ  ์ธ๊ฐ„ ๋ฉ”ํƒ€ ๋ฆฌ๋ทฐ์–ด๋ณด๋‹ค ์ˆ˜๋ฝ ๊ฒฐ์ •์„ ๋‚ด๋ฆด ๊ฐ€๋Šฅ์„ฑ์ด ๋†’์•˜์ง€๋งŒ, ์™„์ „ํžˆ LLM์œผ๋กœ ์ƒ์„ฑ๋œ ๋ฉ”ํƒ€ ๋ฆฌ๋ทฐ๋Š” ๋” ๋น„ํŒ์ ์ธ ๊ฒฝํ–ฅ์„ ๋ณด์˜€๋‹ค.
โ€ข
์™„์ „ LLM ์ƒ์„ฑ ๋ฆฌ๋ทฐ์˜ ์‹ฌ๊ฐํ•œ ํ‰๊ฐ€ ์••์ถ•์œผ๋กœ ์ธํ•ด ๋…ผ๋ฌธ ํ’ˆ์งˆ์„ ์ œ๋Œ€๋กœ ๊ตฌ๋ณ„ํ•˜์ง€ ๋ชปํ•˜๋Š” ํ•œ๊ณ„๊ฐ€ ์žˆ์œผ๋ฉฐ, ์ด๋Š” LLM์˜ ์˜์‚ฌ๊ฒฐ์ • ๊ณผ์ •์—์„œ ๋ฐœ์ƒํ•˜๋Š” ์ž ์žฌ์ ์ธ ๋ฌธ์ œ์ ์„ ์‹œ์‚ฌํ•œ๋‹ค.
๐Ÿ‘