본 논문은 최첨단 대규모 언어 모델(LLM)들이 과학 연구에서 코드 생성 자동화 도구로서 빠르게 발전하고 있지만, 복잡한 계산 실험을 위한 익숙하지 않은 Python API를 해석하고 사용하는 능력은 아직 제대로 특징이 규명되지 않았다는 점을 다룹니다. 두 가지 점점 더 어려워지는 시나리오(ParShift 라이브러리를 사용한 대화형 데이터 분석, pyclugen 및 scikit-learn을 사용한 합성 데이터 생성 및 클러스터링)에서 기능적인 Python 코드 생성에 대한 최첨단 LLM들을 체계적으로 벤치마킹합니다. 구조화된 제로샷 프롬프트를 사용하여 세부 요구 사항을 명시하지만, 컨텍스트 내 예시는 생략합니다. 모델 출력은 여러 번 실행에 걸쳐 기능적 정확성과 프롬프트 준수 여부를 정량적으로 평가하고, 코드 실행이 실패할 때 발생하는 오류를 분석하여 정성적으로 평가합니다. 결과는 소수의 모델만이 일관되게 정확하고 실행 가능한 코드를 생성한다는 것을 보여줍니다. GPT-4.1은 두 실험 과제 모두에서 모든 실행에서 100% 성공률을 달성한 반면, 다른 대부분의 모델은 절반 미만의 실행에서 성공했으며, Grok-3과 Mistral-Large만이 비슷한 성능에 근접했습니다. LLM 성능 벤치마킹 외에도 이러한 접근 방식은 명확하지 않은 설명서나 모호한 구현 버그와 같은 타사 라이브러리의 단점을 파악하는 데 도움이 됩니다. 전반적으로 이러한 결과는 엔드투엔드 과학 자동화에 대한 LLM의 현재 한계를 강조하고, 신중한 프롬프트 설계, 포괄적인 라이브러리 설명서 및 언어 모델 기능의 지속적인 발전의 필요성을 강조합니다.
