InvestPhilBench: A Multi-Layer Benchmark for Evaluating Large Language Model Procedural Reasoning in Expert Investment Philosophy
์์ฑ์
- Haebom
์นดํ
๊ณ ๋ฆฌ
Empty
์ ์
Mingguang Chen, Bo Qu
๐ก ๊ฐ์
๋ณธ ๋
ผ๋ฌธ์ ํฌ์ ์ฒ ํ์ ๊ธฐ๋ฐํ ์ ๋ฌธ๊ฐ ํฌ์์์ ์ ์ฐจ์ ์์ฌ ๊ฒฐ์ ํ๋ ์์ํฌ๋ฅผ ๋๊ท๋ชจ ์ธ์ด ๋ชจ๋ธ(LLM)์ด ์ผ๋ง๋ ์ ํํ๊ฒ ์ฌ๊ตฌ์ฑํ๊ณ ์ ์ฉํ๋์ง ํ๊ฐํ๊ธฐ ์ํ ๋ค์ธต์ ๋ฒค์น๋งํฌ์ธ InvestPhilBench๋ฅผ ์ ์ํฉ๋๋ค. InvestPhilBench๋ ์์น ์๋ณ๋ถํฐ ์๋ก์ด ํ๋ ์์ํฌ ์ธ์ฝ๊น์ง 8๋จ๊ณ์ ์ธ์ง ๊ณ์ธต์ ํฌํจํ๋ฉฐ, ๊ฒ์ฆ๋ ์์น ์นด๋, ๋ช
์์ ํ ํด๋ก์ง ๋ฉํ๋ฐ์ดํฐ๋ฅผ ํฌํจํ ์์ฌ ๊ฒฐ์ ํ๋ ์์ํฌ ์นด๋, QA ์ง๋ฌธ์ผ๋ก ๊ตฌ์ฑ๋ฉ๋๋ค. ์๋ํ๋ ์ ์ ํ๊ฐ ํ์ดํ๋ผ์ธ(BASP)๊ณผ ์ฌ๋ฌ ์งํ๋ฅผ ํตํด LLM์ ์ ์ฐจ์ ์ถ๋ก ๋ฅ๋ ฅ์ ์ธก์ ํฉ๋๋ค.
๐ ์์ฌ์ ๋ฐ ํ๊ณ
โข
InvestPhilBench๋ LLM์ด ์ ๋ฌธ๊ฐ ํฌ์ ์ฒ ํ์ ์ ์ฐจ์ ์์ฌ ๊ฒฐ์ ํ๋ ์์ํฌ๋ฅผ ์ดํดํ๊ณ ์ ์ฉํ๋ ๋ฅ๋ ฅ์ ์ฒด๊ณ์ ์ผ๋ก ํ๊ฐํ ์ ์๋ ์ต์ด์ ๋ฒค์น๋งํฌ์
๋๋ค.
โข
BASP์ ๊ฐ์ ์๋ํ๋ ์งํ๋ ์ ๋ฐ์ ์ธ ์ฑ๋ฅ์ ์ ์ธก์ ํ์ง๋ง, GRA์ ๊ฐ์ ์ธ๋ถํ๋ ์งํ๋ LLM์ ์ ์ฐจ์ ๊ฒฐํจ์ ๋๋ฌ๋ด๋ฉฐ, ์ด๋ ๋จ์ํ ์ ์ฐฝํจ๋ง์ผ๋ก๋ ๊ฐ๋ ค์ง ์ ์์์ ๋ณด์ฌ์ค๋๋ค.
โข
ํ์ฌ ๋ฒค์น๋งํฌ๋ ์ ํ์ ์ธ ๋ชจ๋ธ ์์ ์๋น ์คํ์ผ๋ก ๊ตฌ์ฑ๋์ด ์์ผ๋ฉฐ, ํฅํ ๋ ๋ง์ ๋ชจ๋ธ์ ๋ํ ํฌ๊ด์ ์ธ ํ๊ฐ์ ๋ค์ํ ์กฐ๊ฑด์์์ ์ฑ๋ฅ ๋ถ์์ด ํ์ํฉ๋๋ค.
