MolLangBench: A Comprehensive Benchmark for Language-Prompted Molecular Structure Recognition, Editing, and Generation
Created by
Haebom
Category
Empty
저자
Feiyang Cai, Jiahui Bai, Tao Tang, Guijuan He, Joshua Luo, Tianyu Zhu, Srikanth Pilla, Gang Li, Ling Liu, Feng Luo
💡 개요
본 논문은 언어 설명을 기반으로 분자 구조를 인식, 편집, 생성하는 AI 모델의 성능을 평가하기 위한 포괄적인 벤치마크인 MolLangBench를 제안합니다. 자동화된 도구와 전문가 검증을 통해 구축된 벤치마크는 선형 문자열, 이미지, 그래프 등 다양한 분자 표현을 지원합니다. 최신 모델들의 평가 결과, 특히 생성 작업에서 현저한 성능 부족을 확인하여 화학 분야 AI 시스템의 발전을 촉구합니다.
🔑 시사점 및 한계
•
언어 기반 분자 구조 처리 능력은 현재 AI 모델에게 여전히 어려운 과제입니다.
•
다양한 분자 표현을 통합한 벤치마크의 필요성을 제시합니다.
•
인간에게는 직관적으로 쉬운 작업에서도 AI 모델의 한계를 드러내, 향후 연구 방향에 대한 중요한 지표를 제공합니다.
•
현재 모델의 인식 및 편집 정확도는 높지만, 복잡한 생성 작업에서는 아직 개선의 여지가 많습니다.
