본 논문은 대규모 언어 모델(LLM)인 GPT-4를 이용하여 상징적 회귀(symbolic regression) 문제를 해결하는 방법을 제시한다. GPT-4에게 데이터를 제공하고, 연쇄적 사고(chain-of-thought) 프롬프팅을 통해 데이터, 이전 표현식, 과학적 맥락을 분석하여 새로운 표현식을 제안하도록 유도한다. 외부 Python 도구를 사용하여 제안된 표현식을 최적화 및 평가하고, 그 결과를 다시 GPT-4에 제공하여 더욱 개선된 표현식을 얻는 반복적인 과정을 거친다. 5개의 잘 알려진 과학 공식을 재발견하는 실험과 알려지지 않은 공식을 찾는 실험을 통해 GPT-4가 과학적 맥락을 고려하고 스크래치패드를 사용하도록 유도했을 때 성능이 더 향상됨을 보여준다. 복잡한 방정식에는 기존 상징적 회귀 프로그램보다 성능이 떨어지지만, 자연어 인터페이스를 통해 이론과 데이터를 통합하고, 지시사항을 따르며, 과학적 맥락을 통합하면서 개선된 해결책을 반복적으로 제시할 수 있음을 보여준다. 또한 이론이 잡음이 많은 데이터를 상쇄하거나, 데이터가 부족한 맥락을 보완할 수 있음을 관찰했다.
