Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

MolErr2Fix: Benchmarking LLM Trustworthiness in Chemistry via Modular Error Detection, Localization, Explanation, and Revision

Created by
  • Haebom

저자

Yuyang Wu, Jinhui Ye, Shuhao Zhang, Lu Dai, Yonatan Bisk, Olexandr Isayev

MolErr2Fix: 분자 기술의 오류 감지 및 수정을 위한 벤치마크

개요

대규모 언어 모델(LLM)은 분자 과학 분야에서 잠재력을 보였지만 화학적으로 부정확한 설명을 생성하는 경우가 많고 잠재적 오류를 인식하거나 정당화하는 데 어려움을 겪습니다. MolErr2Fix 벤치마크는 분자 설명에서 오류 감지 및 수정에 대한 LLM을 평가하기 위해 설계되었습니다. MolErr2Fix는 세분화된 화학적 이해를 강조하며, 분자 설명의 잠재적인 구조적 및 의미적 오류를 식별, 위치, 설명 및 수정하는 작업을 LLM에 할당합니다. 1,193개의 세분화된 주석 처리된 오류 인스턴스로 구성되며, 각 인스턴스에는 (오류 유형, 범위 위치, 설명 및 수정) 쿼드러플 주석이 포함되어 있습니다.

시사점, 한계점

현행 LLM의 상당한 성능 격차를 보여줍니다.
보다 견고한 화학적 추론 능력을 위한 집중된 벤치마크를 제공합니다.
더욱 신뢰할 수 있고 화학적으로 정보에 입각한 언어 모델 개발을 지원합니다.
모든 주석과 함께 평가 API를 공개하여 향후 연구를 촉진할 예정입니다.
👍