Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

CPRet: A Dataset, Benchmark, and Model for Retrieval in Competitive Programming

Created by
  • Haebom

저자

Han Deng, Yuan Meng, Shixiang Tang, Wanli Ouyang, Xinzhu Ma

개요

본 논문은 경쟁 프로그래밍 문제의 중복 및 유사성 문제를 해결하기 위해 새로운 과제인 "유사 문제 검색"을 제안합니다. 이를 위해, 코드 중심(Text-to-Code, Code-to-Code) 및 문제 중심(Problem-to-Duplicate, Simplified-to-Full)의 네 가지 검색 과제를 포함하는 CPRet이라는 검색 지향적 벤치마크 모음을 소개합니다. 자동 크롤링된 문제-해결책 데이터와 수동으로 정리된 주석을 결합하여 고품질의 훈련 데이터와 시간적으로 분리된 테스트 세트를 제공합니다. 또한, 문제-코드 정렬을 위한 새로운 Group-InfoNCE 손실 함수를 사용하여 훈련된 CPRetriever-Code와 문제 수준 유사성 식별을 위해 미세 조정된 CPRetriever-Prob라는 두 가지 과제 특화 검색기를 개발하고 공개합니다. 마지막으로, LiveCodeBench 분석을 통해 유사성이 높은 문제가 모델 통과율을 부풀리고 차별화를 감소시킨다는 것을 밝히고, 향후 벤치마크에서 유사성 인식 평가의 필요성을 강조합니다.

시사점, 한계점

시사점:
경쟁 프로그래밍 벤치마크의 유사 문제 문제를 해결하기 위한 새로운 벤치마크(CPRet) 및 검색 모델(CPRetriever-Code, CPRetriever-Prob) 제시.
고품질의 훈련 데이터와 테스트 세트 제공을 통한 신뢰할 수 있는 평가 가능.
유사 문제가 모델 평가에 미치는 영향 분석 및 유사성 인식 평가의 중요성 강조.
개발된 모델 및 데이터셋 공개를 통한 연구 활성화.
한계점:
CPRet 벤치마크가 특정 유형의 경쟁 프로그래밍 문제에만 집중되어 일반화 성능이 제한적일 수 있음.
자동 크롤링 및 수동 주석에 의존하는 데이터셋 구성의 한계. (데이터 편향 가능성 존재)
새로운 문제 유형에 대한 적응력에 대한 추가적인 연구 필요.
👍