Sign In

STAGE: A Full-Screenplay Benchmark for Reasoning over Evolving Storie

์ž‘์„ฑ์ž
  • Haebom
์นดํ…Œ๊ณ ๋ฆฌ
Empty

์ €์ž

Qiuyu Tian, Zequn Liu, Yiding Li, Fengyi Chen, Zequn Liu, Youyong Kong, Fan Guo, Yuyao Li, Jinjing Shen, Zhijing Xie, Yiyun Luo, Xin Zhang, Yingce Xia

๐Ÿ’ก ๊ฐœ์š”

๋ณธ ๋…ผ๋ฌธ์€ ๊ธด ์„œ์‚ฌ ๊ตฌ์กฐ๋ฅผ ๊ฐ€์ง„ ์˜ํ™” ์‹œ๋‚˜๋ฆฌ์˜ค์— ๋Œ€ํ•œ ๋ชจ๋ธ์˜ ์ดํ•ด ๋ฐ ์ถ”๋ก  ๋Šฅ๋ ฅ์„ ํ‰๊ฐ€ํ•˜๊ธฐ ์œ„ํ•œ ํ†ตํ•ฉ ๋ฒค์น˜๋งˆํฌ์ธ STAGE๋ฅผ ์ œ์•ˆํ•ฉ๋‹ˆ๋‹ค. STAGE๋Š” ์ง€์‹ ๊ทธ๋ž˜ํ”„ ๊ตฌ์ถ•, ์žฅ๋ฉด๋ณ„ ์‚ฌ๊ฑด ์š”์•ฝ, ์žฅ๋ฌธ ์‹œ๋‚˜๋ฆฌ์˜ค ์งˆ์˜์‘๋‹ต, ์Šคํฌ๋ฆฝํŠธ ๋‚ด ์บ๋ฆญํ„ฐ ์—ญํ•  ์ˆ˜ํ–‰ ๋“ฑ ๋„ค ๊ฐ€์ง€ ์ž‘์—…์„ ํ†ตํ•ด ๋ชจ๋ธ์ด ์ผ๊ด€๋œ ์ด์•ผ๊ธฐ ์„ธ๊ณ„๋ฅผ ๊ตฌ์ถ•ํ•˜๊ณ  ์ด๋ฅผ ๋‹ค์–‘ํ•œ ์ถ”๋ก  ๋ฐ ์ƒ์„ฑ ์ž‘์—…์— ์ผ๊ด€๋˜๊ฒŒ ํ™œ์šฉํ•˜๋Š” ๋Šฅ๋ ฅ์„ ์ข…ํ•ฉ์ ์œผ๋กœ ํ‰๊ฐ€ํ•ฉ๋‹ˆ๋‹ค.

๐Ÿ”‘ ์‹œ์‚ฌ์  ๋ฐ ํ•œ๊ณ„

โ€ข
์˜ํ™” ์‹œ๋‚˜๋ฆฌ์˜ค์ฒ˜๋Ÿผ ๋ณต์žกํ•˜๊ณ  ๊ธด ์„œ์‚ฌ ๊ตฌ์กฐ์— ๋Œ€ํ•œ AI ๋ชจ๋ธ์˜ ๊นŠ์ด ์žˆ๋Š” ์ดํ•ด ๋ฐ ์ถ”๋ก  ๋Šฅ๋ ฅ์„ ํ‰๊ฐ€ํ•  ์ˆ˜ ์žˆ๋Š” ์ƒˆ๋กœ์šด ๋ฒค์น˜๋งˆํฌ๋ฅผ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.
โ€ข
๋ชจ๋ธ์ด ์ด์•ผ๊ธฐ ์„ธ๊ณ„ ํ‘œํ˜„์„ ๊ตฌ์ถ•ํ•˜๊ณ , ์‚ฌ๊ฑด์„ ์ถ”์ƒํ™”ํ•˜๋ฉฐ, ๊ธด ์„œ์‚ฌ์— ๋Œ€ํ•ด ์ถ”๋ก ํ•˜๊ณ , ์บ๋ฆญํ„ฐ์— ์ผ๊ด€๋œ ์‘๋‹ต์„ ์ƒ์„ฑํ•˜๋Š” ๋Šฅ๋ ฅ์„ ์ข…ํ•ฉ์ ์œผ๋กœ ํ‰๊ฐ€ํ•  ์ˆ˜ ์žˆ๊ฒŒ ํ•ฉ๋‹ˆ๋‹ค.
โ€ข
ํ˜„์žฌ ๋ฒค์น˜๋งˆํฌ๋Š” ๊ฐœ๋ณ„ ํ•˜์œ„ ์ž‘์—…์— ์ดˆ์ ์„ ๋งž์ถ”๊ณ  ์žˆ์ง€๋งŒ, STAGE๋Š” ์—ฌ๋Ÿฌ ์ถ”๋ก  ๋ฐ ์ƒ์„ฑ ์ž‘์—…์— ๊ฑธ์ณ ์ด์•ผ๊ธฐ ์„ธ๊ณ„๋ฅผ ์ผ๊ด€๋˜๊ฒŒ ํ™œ์šฉํ•˜๋Š” ๋Šฅ๋ ฅ์„ ํ‰๊ฐ€ํ•˜๋Š” ๋ฐ ์ค‘์ ์„ ๋‘ก๋‹ˆ๋‹ค.
โ€ข
150ํŽธ์˜ ์˜์–ด ๋ฐ ์ค‘๊ตญ์–ด ์˜ํ™”์— ๋Œ€ํ•œ ๋ฐ์ดํ„ฐ์…‹์„ ์ œ๊ณตํ•˜์—ฌ ํญ๋„“์€ ์—ฐ๊ตฌ๋ฅผ ์ง€์›ํ•˜์ง€๋งŒ, ๋‹ค๊ตญ์–ด ์ง€์› ๋ฒ”์œ„๋ฅผ ํ™•์žฅํ•˜๊ณ  ๋‹ค์–‘ํ•œ ์žฅ๋ฅด ๋ฐ ๋ฌธํ™”๊ถŒ์˜ ์Šคํฌ๋ฆฝํŠธ๋ฅผ ์ถ”๊ฐ€ํ•˜๋Š” ๊ฒƒ์ด ํ–ฅํ›„ ๊ณผ์ œ์ž…๋‹ˆ๋‹ค.
๐Ÿ‘