본 논문은 대규모 언어 모델(LLM)을 활용하여 데이터로부터 과학적 방정식을 발견하는 새로운 방법인 LLM-SR을 제안합니다. 기존의 상징적 회귀 기법들은 데이터만을 사용하여 방정식을 추출하는 데 집중하고, 과학자들이 일반적으로 활용하는 도메인 특정 사전 지식을 고려하지 않으며, 표현 트리와 같은 제한적인 표현 방식을 사용하는 한계를 가지고 있습니다. LLM-SR은 LLM의 광범위한 과학적 지식과 강력한 코드 생성 기능을 활용하여 이러한 문제를 해결합니다. 방정식을 수학 연산자를 사용하는 프로그램으로 취급하고, LLM의 과학적 사전 지식과 방정식 프로그램에 대한 진화적 탐색을 결합합니다. LLM은 반복적으로 도메인 지식을 바탕으로 새로운 방정식 골격 가설을 제안하고, 데이터에 대해 최적화하여 매개변수를 추정합니다. 다양한 과학 분야(예: 물리학, 생물학)의 네 가지 벤치마크 문제에 대한 평가 결과, LLM-SR은 기존 최첨단 상징적 회귀 기법보다 훨씬 우수한 성능을 보이며, 특히 도메인 외부 테스트 설정에서 물리적으로 정확한 방정식을 발견하는 것으로 나타났습니다. 또한 LLM-SR의 과학적 사전 지식 통합은 기준선보다 더 효율적인 방정식 공간 탐색을 가능하게 합니다. 코드와 데이터는 GitHub에서 공개됩니다.
