# FGBench: A Dataset and Benchmark for Molecular Property Reasoning at Functional Group-Level in Large Language Models

### 저자

Xuan Liu, Siru Ouyang, Xianrui Zhong, Jiawei Han, Huimin Zhao

### 개요

본 논문은 화학 분야에서 기능기(Functional Group, FG) 정보를 활용한 대규모 언어 모델(LLM)의 성능 향상을 목표로, 625,000개의 분자 특성 추론 문제를 포함하는 새로운 데이터셋 FGBench를 소개합니다. FGBench는 분자 내 기능기를 정확하게 주석하고 위치를 지정하여, 분자 구조와 텍스트 설명 간의 연관성을 강화하고, 더욱 해석 가능하고 구조 인식 능력이 뛰어난 LLM 개발을 지원합니다.  세 가지 범주(단일 기능기 영향, 다중 기능기 상호작용, 직접적인 분자 비교)에 걸쳐 245개의 서로 다른 기능기에 대한 회귀 및 분류 작업을 포함하며, 최첨단 LLM들의 벤치마크 결과는 현재 LLM들이 기능기 수준의 특성 추론에 어려움을 겪고 있음을 보여줍니다.  FGBench의 방법론은 기능기 수준의 정보를 가진 새로운 질문-답변 쌍을 생성하는 기반이 될 것으로 기대되며, LLM이 미세한 분자 구조-특성 관계를 더 잘 이해하도록 도울 것입니다.  데이터셋과 평가 코드는 깃허브에서 공개됩니다.

### 시사점, 한계점

- **시사점:**

    - 기능기 수준의 미세한 정보를 활용하여 LLM의 화학적 추론 능력 향상에 기여할 수 있는 새로운 데이터셋 FGBench를 제시.

    - 분자 구조와 특성 간의 관계 이해 증진을 통해 신약 개발 및 분자 설계 발전에 기여 가능.

    - 다양한 기능기에 대한 회귀 및 분류 작업을 제공하여 LLM의 성능 평가 및 향상에 도움.

    - FGBench의 방법론은 다른 화학 관련 데이터셋 구축에 대한 기반을 제공.

- **한계점:**

    - 현재 LLM들이 FGBench에서 제시된 기능기 수준의 추론 문제에 어려움을 겪고 있음을 시사,  LLM의 성능 개선이 필요.

    - 데이터셋의 규모 및 다양성에 대한 추가적인 연구가 필요할 수 있음.

    - 특정 기능기에 대한 편향성이나 데이터 불균형 문제 가능성 존재.

[PDF 보기](https://arxiv.org/pdf/2508.01055)

For the site tree, see the [root Markdown](https://slashpage.com/haebom.md).