본 논문은 Chain-of-Thought (CoT) 추론을 사용하는 대규모 언어 모델(LLM)의 화학 분야 적용 가능성을 탐구합니다. 기존의 화학 관련 벤치마크가 단순 지식 검색에 초점을 맞춘 것과 달리, 본 논문에서는 분자 구조 이해와 산술적 연산(덧셈, 삭제, 치환)을 결합한 ChemCoTBench라는 새로운 추론 프레임워크를 제시합니다. 이 프레임워크는 분자 변환을 모듈식 "화학 연산"으로 취급하여 수학적 증명과 유사한 단계별 추론을 가능하게 하고, 실제 화학적 제약 조건을 고려합니다. 분자 특성 최적화 및 화학 반응 예측이라는 두 가지 중요한 과제를 통해 모델을 평가하며, 주석이 달린 데이터셋, 추론 분류 체계, 기준 평가를 제공하여 추상적 추론 방법과 실제 화학적 발견 사이의 간극을 해소합니다. 궁극적으로, LLM을 AI 기반 과학 혁신 도구로 발전시키는 기반을 마련하고자 합니다.
