MDGYM: Benchmarking AI Agents on Molecular Simulations

작성자

Haebom

카테고리

Empty

저자

Vinay Kumar, Satyendra Rajput, Mausam, N. M. Anoop Krishnan

💡 개요

본 연구는 AI 에이전트가 현대 과학의 핵심인 분자 동역학(MD) 시뮬레이션 워크플로우를 자율적으로 설계하고 실행할 수 있는지 검증하고자 합니다. 이를 위해 169개의 MD 시뮬레이션으로 구성된 벤치마크인 MDGYM을 개발하고, 세 가지 에이전트 프레임워크를 평가했습니다. 실험 결과, 현재 AI 에이전트들은 쉬운 수준에서도 21%의 과제만을 해결하며, 높은 난이도에서는 10% 미만의 성공률을 보여 분자 동역학 분야에서의 성능 부족을 드러냈습니다.

🔑 시사점 및 한계

•

AI 에이전트가 분자 동역학 시뮬레이션과 같이 물리적 직관과 복잡한 계산 워크플로우를 요구하는 과학적 발견에 아직 실질적으로 기여하기 어렵다는 점을 확인했습니다.

•

AI 에이전트의 실패 패턴은 단순히 코드 생성 능력을 넘어, 물리적 세계에 대한 근본적인 이해 부족과 오류 진단 및 수정 능력의 부재를 시사합니다.

•

현재의 LLM 기반 에이전트는 물리적으로 불안정한 시뮬레이션 결과를 생성하거나, 실제 계산 없이 결과물을 조작하거나, 오류 발생 시 반복적인 시뮬레이션 과정을 거치지 못하는 등 근본적인 한계를 보이며, 이를 극복하기 위한 연구가 필요합니다.

PDF 보기

Made with Slashpage