Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

CMPhysBench: A Benchmark for Evaluating Large Language Models in Condensed Matter Physics

Created by
  • Haebom

저자

Weida Wang, Dongchen Huang, Jiatong Li, Tengchao Yang, Ziyang Zheng, Di Zhang, Dong Han, Benteng Chen, Binzhao Luo, Zhiyu Liu, Kunling Liu, Zhiyuan Gao, Shiqi Geng, Wei Ma, Jiaming Su, Xin Li, Shuchen Pu, Yuhan Shui, Qianjia Cheng, Zhihao Dou, Dongfei Cui, Changyong He, Jin Zeng, Zeke Xie, Mao Su, Dongzhan Zhou, Yuqiang Li, Wanli Ouyang, Yunqi Cai, Xi Dai, Shufei Zhang, Lei Bai, Jinguang Cheng, Zhong Fang, Hongming Weng

개요

CMPhysBench는 응축물질물리학 분야에서 대규모 언어 모델(LLM)의 능력을 평가하기 위한 새로운 벤치마크입니다. 520개 이상의 대학원 수준 질문들로 구성되며, 자성, 초전도체, 강하게 상관된 시스템 등 응축물질물리학의 주요 하위 분야와 기초 이론적 틀을 다룹니다. 문제 해결 과정에 대한 깊이 있는 이해를 확보하기 위해 계산 문제에만 집중하며, LLM이 독립적으로 포괄적인 해결책을 생성해야 합니다. 또한, 식의 트리 기반 표현을 활용하여 확장 가능한 식 편집 거리(SEED) 점수를 도입하여 정밀한(비이진) 부분 점수를 제공하고 예측과 정답 간의 유사성을 더 정확하게 평가합니다. 결과는 최고 성능 모델인 Grok-4조차 CMPhysBench에서 평균 SEED 점수 36점, 정확도 28%에 불과함을 보여주어, 특히 실용적이고 최첨단 분야에서 기존 물리학에 비해 상당한 능력 차이가 있음을 강조합니다. 코드와 데이터셋은 https://github.com/CMPhysBench/CMPhysBench 에서 공개적으로 이용 가능합니다.

시사점, 한계점

시사점: 응축물질물리학 분야에서 LLM의 성능을 정확하게 평가할 수 있는 새로운 벤치마크인 CMPhysBench를 제시합니다. LLM의 응축물질물리학 문제 해결 능력에 대한 상당한 격차를 드러냅니다. SEED 점수는 정밀한 성능 평가를 가능하게 합니다. 공개된 코드와 데이터셋을 통해 지속적인 연구와 발전을 촉진합니다.
한계점: 현재 최고 성능 모델조차 CMPhysBench에서 낮은 정확도를 보여, LLM의 응축물질물리학 이해도 향상을 위한 추가 연구가 필요함을 시사합니다. 벤치마크의 질문 범위가 응축물질물리학의 모든 영역을 완벽하게 포괄하지 못할 수 있습니다. SEED 점수의 계산 복잡도가 높을 수 있습니다.
👍