본 논문은 빠르게 변화하는 Rust 언어의 API 변화에 적응하는 대규모 언어 모델(LLM)의 능력을 평가하기 위한 새로운 프레임워크인 RustEvo를 제시합니다. RustEvo는 Rust 표준 라이브러리와 외부 크레이트의 API 변화 588개를 합성하여 실제 세계의 과제를 반영하는 프로그래밍 작업을 생성함으로써 데이터셋 생성을 자동화합니다. 이러한 작업은 안정화, 시그니처 변경, 동작 변경, 사용 중지 등 네 가지 API 진화 범주를 다룹니다. 최첨단 LLM을 사용한 실험 결과, 모델은 안정화된 API에서는 65.8%의 평균 성공률을 달성했지만, 동작 변경에서는 38.0%만 달성하여 시그니처 변경 없이 의미 변화를 감지하는 데 어려움을 보였습니다. 또한, 지식 차단 날짜가 성능에 큰 영향을 미치는 것으로 나타났으며, 차단 날짜 이전 API에서는 56.1%, 이후 API에서는 32.5%의 점수를 기록했습니다. 검색 증강 생성(RAG)은 모델 훈련 후 출시된 API에 대한 성공률을 평균 13.5% 향상시켜 이러한 차이를 완화했습니다. 본 연구는 빠르게 변화하는 소프트웨어 생태계에서 LLM의 적응성을 향상시키기 위해 진화 인식 벤치마크의 필요성을 강조합니다. RustEvo 프레임워크와 벤치마크는 https://github.com/SYSUSELab/RustEvo 에서 공개적으로 제공됩니다.
