본 논문은 Chain-of-Thought (CoT) 추론을 사용하는 대규모 언어 모델(LLM)의 화학 분야 적용 가능성을 탐구합니다. 기존 벤치마크가 단순 지식 검색에 초점을 맞춘 것과 달리, 본 논문에서는 분자 구조 이해와 사칙연산(덧셈, 삭제, 치환)을 결합한 ChemCoTBench라는 새로운 추론 프레임워크를 제시합니다. 이 프레임워크는 분자 변환을 모듈식 "화학 연산"으로 취급하여 수학적 증명과 유사한 단계적 추론을 가능하게 하며, 실제 화학적 제약 조건을 고려합니다. 분자 특성 최적화와 화학 반응 예측이라는 두 가지 주요 과제에 대한 모델 평가를 통해, ChemCoTBench가 추상적 추론 방법과 실제 화학적 발견 사이의 간극을 메우고 LLM을 AI 기반 과학 혁신 도구로 발전시키는 기반을 마련한다는 것을 보여줍니다. 주석이 달린 데이터셋, 추론 분류 체계, 그리고 기준 평가를 제공하여 연구의 재현성을 높였습니다.
