Sign In

ChemVA: Advancing Large Language Models on Chemical Reaction Diagrams Understanding

์ž‘์„ฑ์ž
  • Haebom
์นดํ…Œ๊ณ ๋ฆฌ
Empty

์ €์ž

Mingyang Rao, Kehua Feng, Zhihui Zhu, Jiangzhen Fu, Hao Yu, Keyan Ding, Huajun Chen

๐Ÿ’ก ๊ฐœ์š”

ํ™”ํ•™ ๋ฐ˜์‘ ๋‹ค์ด์–ด๊ทธ๋žจ ์ดํ•ด์— ์žˆ์–ด ๊ฑฐ๋Œ€ ์–ธ์–ด ๋ชจ๋ธ(LLM)์˜ ํ•œ๊ณ„๋ฅผ ๊ทน๋ณตํ•˜๊ณ ์ž, ๋ณธ ๋…ผ๋ฌธ์€ ์‹œ๊ฐ ์ •๋ณด์™€ ์˜๋ฏธ๋ก ์  ์—ฐ๊ฒฐ์„ฑ์„ ๊ฐ•ํ™”ํ•˜๋Š” ChemVA ํ”„๋ ˆ์ž„์›Œํฌ๋ฅผ ์ œ์•ˆํ•œ๋‹ค. ChemVA๋Š” ์‹œ๊ฐ ์•ต์ปค ๋ฉ”์ปค๋‹ˆ์ฆ˜์œผ๋กœ ์ž‘์šฉ๊ธฐ ํƒ์ง€๋ฅผ ์ˆ˜ํ–‰ํ•˜๊ณ , ์‹œ๊ฐ ํŠน์ง•์„ ๊ฐœ์ฒด๋ช…์œผ๋กœ ๋ณ€ํ™˜ํ•˜์—ฌ LLM์˜ ํ™”ํ•™์  ์ถ”๋ก  ๋Šฅ๋ ฅ์„ ํ™œ์„ฑํ™”์‹œํ‚จ๋‹ค. ์ด๋ฅผ ํ†ตํ•ด ์ƒˆ๋กœ์šด ๋ฐ์ดํ„ฐ์…‹์ธ OCRD-Bench์—์„œ 92.0%์˜ ๊ตฌ์กฐ ์ธ์‹ ์ •ํ™•๋„๋ฅผ ๋‹ฌ์„ฑํ•˜๋ฉฐ, ๋‹ค์–‘ํ•œ LLM์˜ ์„ฑ๋Šฅ์„ ์•ฝ 20%p ํ–ฅ์ƒ์‹œํ‚ค๋Š” ์„ฑ๊ณผ๋ฅผ ๋ณด์˜€๋‹ค.

๐Ÿ”‘ ์‹œ์‚ฌ์  ๋ฐ ํ•œ๊ณ„

โ€ข
ํ™”ํ•™ ๋ฐ˜์‘ ๋‹ค์ด์–ด๊ทธ๋žจ์˜ ์‹œ๊ฐ์  ๋ณต์žก์„ฑ๊ณผ ์˜๋ฏธ๋ก ์  ์—ฐ๊ฒฐ์„ฑ์„ ํšจ๊ณผ์ ์œผ๋กœ ์ฒ˜๋ฆฌํ•˜๊ธฐ ์œ„ํ•œ ์ƒˆ๋กœ์šด ํ”„๋ ˆ์ž„์›Œํฌ ChemVA๋ฅผ ์ œ์‹œํ–ˆ๋‹ค.
โ€ข
๊ธฐ์กด LLM์˜ ํ™”ํ•™์  ์ถ”๋ก  ๋Šฅ๋ ฅ์„ ํฌ๊ฒŒ ํ–ฅ์ƒ์‹œํ‚ค๋ฉฐ, ํŠนํžˆ ๊ฐœ๋ฐฉํ˜• ๋ชจ๋ธ์ด ์ƒ์šฉ ์ตœ์‹  ์‹œ์Šคํ…œ๊ณผ ๊ฒฝ์Ÿํ•  ์ˆ˜ ์žˆ๋Š” ๊ฐ€๋Šฅ์„ฑ์„ ์—ด์—ˆ๋‹ค.
โ€ข
OCRD-Bench๋ผ๋Š” ์ƒˆ๋กœ์šด ๋ฒค์น˜๋งˆํฌ ๋ฐ์ดํ„ฐ์…‹ ๊ตฌ์ถ•์„ ํ†ตํ•ด ํ™”ํ•™ ๋ฐ˜์‘ ๋‹ค์ด์–ด๊ทธ๋žจ ์ดํ•ด ์—ฐ๊ตฌ๋ฅผ ์œ„ํ•œ ๊ธฐ๋ฐ˜์„ ๋งˆ๋ จํ–ˆ๋‹ค.
โ€ข
ํ–ฅํ›„ ์—ฐ๊ตฌ์—์„œ๋Š” ๋” ๋ณต์žกํ•˜๊ณ  ๋‹ค์–‘ํ•œ ์œ ํ˜•์˜ ํ™”ํ•™ ๋ฐ˜์‘ ๋‹ค์ด์–ด๊ทธ๋žจ์— ๋Œ€ํ•œ ChemVA์˜ ์ผ๋ฐ˜ํ™” ์„ฑ๋Šฅ์„ ํ–ฅ์ƒ์‹œํ‚ค๊ณ , ์‹ค์ œ ํ™”ํ•™ ์—ฐ๊ตฌ ๋ฐ ๋ฐœ๊ฒฌ์— ์ ์šฉํ•˜๋Š” ๋ฐฉ์•ˆ์„ ๋ชจ์ƒ‰ํ•  ํ•„์š”๊ฐ€ ์žˆ๋‹ค.
๐Ÿ‘
Made with Slashpage