대규모 언어 모델(LLM)이 텍스트 추론 능력은 뛰어나지만, 3차원 원자 구조에 대한 깊이 있는 이해가 필수적인 재료 과학과 같은 분야에서 활용하기에는 구조적 이해와 공간 추론 능력에 한계가 있다. 본 연구에서는 이러한 한계를 파악하기 위해, 결정학 정보 파일(CIF)을 기반으로 하는 AtomWorld 벤치마크를 제안한다. AtomWorld는 구조 편집, CIF 인식, 속성 기반 모델링과 같은 작업을 통해 LLM의 핵심 추론 능력을 평가하며, 현재 모델들이 구조적 이해와 공간 추론에서 일관되게 실패함을 보여준다.
시사점, 한계점
•
AtomWorld 벤치마크는 LLM의 원자 규모 모델링 능력을 평가하기 위한 표준화된 도구를 제공한다.
•
현재 LLM은 CIF 형식의 기본 이해조차 어려움을 겪으며, 구조 수정 작업에서 빈번하게 오류를 범한다.
•
이러한 오류는 후속 분석 및 재료 연구에서 누적된 오류를 야기할 수 있다.
•
AtomWorld는 LLM이 재료 연구 및 자동화된 과학적 워크플로우에 활용되기 위한 기반을 마련한다.
•
현재 모델들은 구조적 이해 및 공간 추론 능력에서 한계를 보이며, 추가적인 발전이 필요하다.
