Sign In

CPRet: A Dataset, Benchmark, and Model for Retrieval in Competitive Programming

Created by
  • Haebom
Category
Empty

저자

Han Deng, Yuan Meng, Shixiang Tang, Wanli Ouyang, Xinzhu Ma

개요

경쟁 프로그래밍 벤치마크는 프로그래밍 대회 및 대규모 언어 모델 평가와 같은 시나리오에서 널리 사용되지만, 중복되거나 매우 유사한 문제의 증가는 경쟁 공정성뿐만 아니라 모델 평가를 위한 벤치마크로서의 경쟁 프로그래밍의 타당성에 대한 우려를 제기합니다. 이 논문에서는 이러한 문제를 해결하기 위해 새로운 문제인 유사 질문 검색을 제안합니다. 이를 위해, CPRet이라는 경쟁 프로그래밍을 위한 검색 지향 벤치마크 스위트를 도입합니다. CPRet은 텍스트-코드, 코드-코드, 문제-중복, 단순화-전체 등 4가지 검색 작업을 포함하며, 자동 크롤링된 문제-솔루션 데이터와 수동 큐레이션된 주석을 결합하여 구축되었습니다. 또한, CPRetriever-Code와 CPRetriever-Prob라는 두 가지 작업별 검색기를 개발했습니다.

시사점, 한계점

시사점:
경쟁 프로그래밍 벤치마크에서 유사 문제의 존재 문제를 해결하기 위한 새로운 문제 정의 (유사 질문 검색).
4가지 검색 작업을 포함하는 새로운 벤치마크 스위트인 CPRet 개발.
CPReteriver-Code (문제-코드 정렬을 위한 Group-InfoNCE loss) 및 CPRetriever-Prob (문제 레벨 유사성 식별) 두 가지 작업별 검색기 개발 및 공개.
LiveCodeBench 분석을 통해 유사성 문제가 모델 통과율을 높이고 차별성을 감소시킴을 확인.
한계점:
논문 자체에서 명시된 한계점은 직접적으로 언급되지 않음. (추가 연구 필요)
👍