본 논문은 진화적 계산 프레임워크 내에서 반복적으로 알고리즘을 최적화하기 위해 사용되는 대규모 언어 모델(LLM)의 코드 생성 능력에 대한 연구를 다룬다. LLM이 경쟁력 있는 알고리즘을 생성하지 못하거나 코드 최적화가 정체되는 경우가 발생하는데, 이는 생성 과정과 생성된 코드에 대한 이해 부족 때문이다. 본 논문은 진화 과정에서 생성된 코드와 LLM의 반복적인 프롬프팅을 통한 코드의 변화를 분석할 수 있도록 함으로써 이러한 문제를 완화하는 새로운 접근 방식을 제시한다. 세 가지 벤치마크 문제 클래스에 대한 결과를 제시하고 새로운 통찰력을 보여준다. 특히, LLM은 반복적인 프롬프팅을 통해 더 복잡한 코드를 생성하는 경향이 있지만, 추가적인 복잡성이 알고리즘 성능을 저해하는 경우도 있다는 점을 발견했다. 또한, 서로 다른 LLM은 다른 코딩 스타일을 가지며, 생성된 코드는 다른 LLM의 코드와 유사하지 않다는 것을 보였다. 이러한 두 가지 발견은 코드 진화 프레임워크 내에서 여러 개의 LLM을 사용하는 것이 단일 LLM만 사용하는 것보다 더 높은 성능의 코드를 생성할 수 있음을 시사한다.
