Sign In

Evaluating Clinical Competencies of Large Language Models with a General Practice Benchmark

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Zheqing Li, Yiying Yang, Jiping Lang, Wenhao Jiang, Junrong Chen, Yuhang Zhao, Shuang Li, Dingqian Wang, Zhu Lin, Xuanna Li, Yuze Tang, Jiexian Qiu, Xiaolin Lu, Hongji Yu, Shuang Chen, Yuhua Bi, Xiaofei Zeng, Yixian Chen, Lin Yao

πŸ’‘ κ°œμš”

κΈ°μ‘΄ LLM 평가 방식은 μ‹€μ œ μž„μƒ ν™˜κ²½μ—μ„œμ˜ GPs(일반 μ§„λ£Œμ˜) μ—­ν•  μˆ˜ν–‰ λŠ₯λ ₯을 μΆ©λΆ„νžˆ λ°˜μ˜ν•˜μ§€ λͺ»ν•œλ‹€λŠ” 문제λ₯Ό μ œκΈ°ν•©λ‹ˆλ‹€. 이에 λ³Έ μ—°κ΅¬λŠ” GPs의 μž„μƒ μ—­λŸ‰μ„ 기반으둜 ν•œ μƒˆλ‘œμš΄ 평가 ν”„λ ˆμž„μ›Œν¬μ™€ 데이터셋(GPBench)을 μ œμ•ˆν•©λ‹ˆλ‹€. 이λ₯Ό 톡해 10개의 μ΅œμ‹  LLM을 ν‰κ°€ν•œ κ²°κ³Ό, ν˜„μž¬ LLM은 GPs의 업무λ₯Ό 자율적으둜 μˆ˜ν–‰ν•˜κΈ°μ— λΆ€μ ν•©ν•˜λ©° μΈκ°„μ˜ 지속적인 감독과 GPs의 일상 업무에 νŠΉν™”λœ μ΅œμ ν™”κ°€ ν•„μš”ν•¨μ„ λ°ν˜”μŠ΅λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
LLM의 μž„μƒ μ—­λŸ‰ 평가에 μžˆμ–΄ μ‹€μ§ˆμ μΈ GPs의 업무 λ§₯락을 λ°˜μ˜ν•˜λŠ” μ€‘μš”μ„±μ„ κ°•μ‘°ν•©λ‹ˆλ‹€.
β€’
GPs 업무에 맞좰 전문가듀이 μ„Έμ‹¬ν•˜κ²Œ κ΅¬μΆ•ν•œ GPBench 데이터셋은 LLM의 μž„μƒ 적용 κ°€λŠ₯성을 μ²΄κ³„μ μœΌλ‘œ ν‰κ°€ν•˜λŠ” 데 κΈ°μ—¬ν•  수 μžˆμŠ΅λ‹ˆλ‹€.
β€’
ν˜„μž¬ LLM은 GPs의 μž„μƒ 업무λ₯Ό μ™„μ „νžˆ λŒ€μ²΄ν•  수 μ—†μœΌλ©°, 자율적인 μž„μƒ μ μš©μ„ μœ„ν•΄μ„œλŠ” 좔가적인 연ꡬ와 μΈκ°„μ˜ 감독이 ν•„μˆ˜μ μž…λ‹ˆλ‹€.
πŸ‘
Made with Slashpage