본 논문은 대규모 언어 모델(LLM)을 활용한 태양 물리학 연구의 과학적 추론에 대한 연구를 제시합니다. 사실 암기 이상의, 물리적 가정 통합, 일관된 단위 유지, 명확한 과학적 형식 제시를 요구하는 태양 물리학 분야의 특성을 고려하여, 새로운 벤치마킹 접근 방식과 함께 태양 물리학 추론을 위한 데이터셋 "Reasoning With a Star"를 제안합니다. 이 데이터셋은 NASA & UCAR Living With a Star 여름 학교 문제 세트를 기반으로 제작되었으며, 질문, 배경, 추론 단계, 예상 답변 유형, 정답, 형식 힌트, 메타데이터 등을 포함합니다. 프로그램 방식의 채점기를 통해 단위 인식 수치 허용 오차, 기호적 등가성, 스키마 유효성 검사를 수행합니다. 단일 샷 기준선과 4가지 다중 에이전트 패턴을 벤치마킹하여, 연역적 추론이 필요한 문제에서 시스템 엔지니어링 원칙을 통한 워크플로우 분해가 직접적인 프롬프팅보다 우수한 성능을 보임을 확인했습니다.
