대규모 언어 모델(LLM)은 코드 생성 능력이 뛰어나지만, 외부 라이브러리 API의 빈번한 업데이트에 적응하는 데 어려움을 겪습니다. 훈련 데이터의 오래된 API 지식에 의존하기 때문입니다. 본 논문에서는 API 변경에 대한 인간 프로그래머의 적응을 모방하는 새로운 프레임워크인 ReCode(rule-based Reinforcement learning for Code Update)를 제안합니다. 약 2,000개의 데이터 항목으로 구성된 데이터 세트를 사용하여 LLM을 훈련시켜 업데이트된 정보를 기반으로 버전 마이그레이션을 수행하도록 합니다. 또한 코드 평가를 위한 수정된 문자열 유사성 메트릭을 강화 학습에 대한 보상으로 도입했습니다. ReCode는 동적 API 시나리오에서 LLM의 코드 생성 성능을 크게 향상시키며, 특히 CodeUpdateArena task에서 두드러집니다. ReCode는 지도 방식 미세 조정에 비해 LLM의 일반적인 코드 생성 능력에 미치는 영향이 적습니다. Qwen2.5-Coder-7B는 ReCode 훈련 후 32B 매개변수 코드 지침 튜닝 모델 및 동일 아키텍처의 추론 모델보다 성능이 뛰어났습니다.
