LLM-SRBench: A New Benchmark for Scientific Equation Discovery with Large Language Models
Created by
Haebom
저자
Parshin Shojaee, Ngoc-Hieu Nguyen, Kazem Meidani, Amir Barati Farimani, Khoa D Doan, Chandan K Reddy
개요
본 논문은 대규모 언어 모델(LLM)을 이용한 과학 방정식 발견의 진정한 능력을 평가하기 위한 새로운 벤치마크인 LLM-SRBench를 제시합니다. 기존 벤치마크의 한계점인 LLM의 단순 암기 가능성을 극복하고자, 익숙하지 않은 수학적 표현으로 변환된 물리 모델(LSR-Transform)과 데이터 기반 추론을 요구하는 합성 문제(LSR-Synth)를 포함하는 239개의 과제를 4개 과학 분야에 걸쳐 구성했습니다. 다양한 최첨단 방법들을 평가한 결과, 최고 성능 시스템의 상징적 정확도는 31.5%에 불과함을 보였으며, 이는 과학 방정식 발견의 어려움을 강조하고 LLM-SRBench가 향후 연구에 중요한 자원이 될 것임을 시사합니다.
시사점, 한계점
•
시사점:
◦
LLM 기반 과학 방정식 발견의 어려움을 명확히 보여주는 새로운 벤치마크 LLM-SRBench 제시
◦
LLM의 단순 암기 문제를 해결하기 위한 새로운 문제 유형(LSR-Transform, LSR-Synth) 제안
◦
최첨단 LLM 기반 방법들의 성능 한계를 실험적으로 제시 (최고 성능 31.5% 상징적 정확도)
