본 논문은 신경망 코드 생성에서 코드 조각에 대한 신뢰할 수 있는 평가 방법의 중요성을 강조하며, 기존 참조 솔루션 또는 실행 가능한 테스트 케이스에 의존하는 방법들의 유연성과 확장성의 한계를 지적합니다. LLM-as-Judge 방법론을 대안으로 제시하며, 문제 설명과 생성된 코드 간의 기능적 일관성을 직접 평가하는 접근 방식을 채택합니다. 세 가지 다양한 데이터셋에 걸친 실험적 연구를 통해 일반적인 기반 모델 기반 방법과 추론 기반 모델 기반 방법의 장단점을 분석합니다. 일반 기반 모델 기반 방법은 성능이 우수하지만 복잡한 프롬프트가 필요하고 설명력이 부족하며, 추론 기반 모델 기반 방법은 더 간단한 프롬프트로 설명력이 향상되지만 큰 매개변수 크기로 인해 상당한 계산 자원이 필요하다는 것을 밝힙니다. 이러한 한계를 해결하기 위해, 정확성, 효율성, 설명력의 균형을 맞춘 새로운 코드 평가 방법인 CODE-DITING을 제안합니다. 데이터 증류 프레임워크를 개발하여 DeepSeek-R1671B의 추론 능력을 CODE-DITING 1.5B 및 7B 모델로 효과적으로 전이하여 평가 설명력을 향상시키고 계산 비용을 줄입니다. 추론 과정에서 다수결 전략을 사용하여 CODE-DITING 1.5B는 동일한 매개변수 규모의 다른 모든 모델을 능가하며, 5배의 매개변수 규모의 모델이 보여주는 성능을 달성합니다. CODE-DITING 7B는 GPT-4o 및 DeepSeek-V3 671B를 능가하는데, 이는 해당 대규모 모델 매개변수의 1%만 사용했기 때문입니다. 추가 실험을 통해 CODE-DITING이 선호도 누출에 강건하며 코드 평가를 위한 유망한 대안이 될 수 있음을 보여줍니다.
