본 논문은 대규모 언어 모델(LLM)을 이용한 코드 생성 분야에서 기존의 교사 모델 증류 방식의 한계를 극복하고자, 자체 생성 코드의 반복적 개선을 통해 성능 향상을 도모하는 새로운 방법인 적응적 비판 개선(ACR) 기법을 제안합니다. ACR은 LLM을 판사 및 비평가로 활용하여 코드 품질을 평가하고, 저품질 코드에 대한 비판적 피드백을 통해 모델 자체를 개선하는 과정을 거칩니다. 이를 통해 개발된 RefineCoder 시리즈는 다양한 코드 생성 벤치마크에서 기존 모델들과 비교하여 동등하거나 우수한 성능을 더 적은 데이터로 달성합니다.
시사점, 한계점
•
시사점:
◦
LLM 기반 코드 생성 모델의 성능 향상을 위한 새로운 접근 방식 제시 (ACR)
◦
교사 모델 증류에 대한 의존도 감소 및 데이터 효율성 증대
◦
자체 생성 코드의 반복적 개선을 통한 지속적인 성능 향상 가능성 확인
◦
LLM을 판사 및 비평가로 활용하는 효과적인 평가 및 개선 전략 제시
•
한계점:
◦
ACR의 효과는 LLM의 성능에 의존적일 수 있음.
◦
LLM-as-a-Judge 및 LLM-as-a-Critic 의 성능에 따라 ACR의 효율성이 달라질 수 있음.
◦
제안된 방법의 일반화 가능성에 대한 추가적인 연구 필요.
◦
특정 코드 생성 벤치마크에 대한 결과만 제시되었으므로, 다른 도메인 또는 작업에 대한 일반화 성능 검증 필요.
