본 논문은 대규모 언어 모델의 발전을 바탕으로, 다양한 과학 분야와 난이도에 걸쳐 일반적인 과학적 추론 능력을 갖춘 통합 멀티 에이전트 시스템인 SciAgent를 소개합니다. SciAgent는 문제 해결을 계층적 과정으로 구성하여, 조정자 에이전트가 문제의 도메인과 복잡성을 해석하고, 전문 작업자 시스템을 동적으로 조정합니다. 각 작업자 시스템은 기호 추론, 개념 모델링, 수치 계산 및 검증을 위한 상호 작용하는 추론 하위 에이전트로 구성됩니다. 이러한 에이전트들은 각 작업에 맞게 조정된 추론 파이프라인을 공동으로 구축하고 개선합니다. 수학 및 물리학 올림피아드 (IMO, IMC, IPhO, CPhO)에서 SciAgent는 인간 금메달리스트 수준의 성능을 달성하며, 다양한 과학 분야 (국제 화학 올림피아드 (IChO) 및 Humanity's Last Exam (HLE) 벤치마크) 에서도 일반화 능력을 입증했습니다.
시사점, 한계점
•
시사점:
◦
다양한 과학 분야 (수학, 물리학, 화학 등) 및 난이도 (올림피아드, HLE) 에서 인간 전문가 수준의 성능을 달성하여 도메인 일반성과 추론 적응성을 입증했습니다.
◦
일반적인 과학적 추론을 위한 멀티 에이전트 시스템 구축의 가능성을 제시했습니다.
◦
문제 해결을 위한 계층적 접근 방식과 에이전트 간의 협업을 통해 복잡한 문제를 해결하는 새로운 방법론을 제시했습니다.
