본 논문은 Llama 2-70B 모델을 사용하여 과학 응용 프로그램의 소프트웨어 개발 자동화 가능성을 평가한 연구이다. 대표적인 테스트 문제를 통해 코드 생성, 문서화, 단위 테스트 생성 및 다양한 프로그래밍 언어 간 코드 변환 능력을 평가하였다. 생성 및 변환된 코드의 컴파일, 런타임 동작 및 정확성을 종합적으로 분석하고, 자동 생성된 코드, 문서 및 단위 테스트의 품질을 평가하였다. 결과적으로 Llama 2-70B는 간단한 수치 계산 작업에서는 구문적으로 정확하고 기능적인 코드를 생성하지만, 복잡하고 병렬화 또는 분산된 계산에는 상당한 어려움을 겪어 많은 수동 수정이 필요함을 보였다. 주요 한계점을 제시하고 과학 컴퓨팅 워크플로우에서 AI 기반 자동화를 더 잘 활용하기 위한 개선 방향을 제안한다.
