본 논문은 Llama 2-70B 모델을 사용하여 과학 응용 프로그램에서 소프트웨어 개발 작업 자동화 가능성을 평가한 연구 결과를 제시합니다. 대표적인 테스트 문제를 사용하여 코드 생성, 문서화, 단위 테스트 생성 및 주요 프로그래밍 언어 간의 코드 변환 능력을 평가했습니다. 생성 및 변환된 코드의 컴파일, 런타임 동작 및 정확성을 포괄적으로 분석하고, 자동 생성된 코드, 문서 및 단위 테스트의 품질을 평가했습니다. 결과적으로 Llama 2-70B는 단순한 수치 계산 작업에 대해서는 구문적으로 정확하고 기능적인 코드를 생성하지만, 복잡하거나 병렬 처리 또는 분산 계산이 필요한 작업에서는 상당한 어려움을 겪어 많은 수동 수정이 필요함을 보여줍니다. 핵심적인 한계점을 파악하고 과학 컴퓨팅 워크플로우에서 AI 기반 자동화를 더 잘 활용하기 위한 개선 방향을 제시합니다.
