본 논문은 대규모 언어 모델(LLM)을 이용한 코드 검증 및 디버깅을 경쟁 프로그래밍(CP) 관점에서 연구한 결과를 제시한다. 특히, 주어진 CP 문제에 대한 유효한 테스트 케이스 생성기 생성 및 인간이 작성한 코드의 버그를 드러내는 테스트 케이스 생성기 생성 능력을 평가하기 위해 TCGBench라는 벤치마크를 제안한다. 실험 결과, 최첨단 LLM은 대부분의 경우 유효한 테스트 케이스 생성기를 생성할 수 있지만, 인간 코드의 결함을 효과적으로 드러내는 표적 테스트 케이스를 생성하는 데는 어려움을 겪는다는 것을 보여준다. 특히, 고급 추론 모델조차도 표적 생성기를 생성하는 작업에서 인간의 성능에 크게 못 미친다. 또한, 표적 생성기를 생성하기 위한 고품질 수동 큐레이션 데이터셋을 구축하여, 프롬프팅 및 미세 조정을 통해 LLM의 성능을 향상시킬 수 있음을 보여준다.
시사점, 한계점
•
시사점:
◦
LLM을 이용한 코드 검증 및 디버깅 가능성을 경쟁 프로그래밍 문제를 통해 탐색하고, 그 한계를 명확히 제시하였다.
◦
TCGBench라는 새로운 벤치마크를 제시하여 LLM의 테스트 케이스 생성 능력 평가를 위한 기준을 마련하였다.
◦
고품질 수동 큐레이션 데이터셋을 활용하여 LLM의 성능 향상 가능성을 제시하였다.
•
한계점:
◦
현재 LLM은 인간 수준의 표적 테스트 케이스 생성 능력을 보이지 못한다.
◦
TCGBench 벤치마크는 경쟁 프로그래밍 문제에 국한되어, 다른 종류의 코드에 대한 일반화 가능성이 제한적일 수 있다.
◦
고품질 데이터셋 구축에 많은 노력이 필요하며, 데이터셋의 크기 및 다양성에 따라 성능 향상에 제한이 있을 수 있다.
