Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Keeping Code-Aware LLMs Fresh: Full Refresh, In-Context Deltas, and Incremental Fine-Tuning

Created by
  • Haebom
Category
Empty

저자

Pradeep Kumar Sharma, Ishaan Puri, Mantinder Jit Singh, Swapnil Shivaprasad, Hritvik Shrivastava

개요

자연어 질문을 코드 저장소 파일 경로에 매핑하는 모델의 성능 저하 문제를 해결하기 위해, 모델을 최신 상태로 유지하는 방법을 연구합니다. 이를 위해, (A) 전체 재학습, (B) 문맥 내 학습 (ICL), (C) 델타 기반 점진적 미세 조정 (Inc-FT)의 세 가지 업데이트 전략을 비교합니다. Flask, SQLAlchemy, Pandas, Poetry 저장소에 대해 alias-aware 평가 프로토콜을 사용하여 실험하고, Inc-FT가 가장 좋은 균형을 제공하며, ICL은 훈련이 불가능할 때 빠르고, 전체 재학습은 최대 새로운 코드 정확도가 중요할 때 최고의 성능을 보임을 확인합니다. Git diff 기반 Inc-FT와 전체 파일 기반 Inc-FT를 비교하여, rename/delete가 많은 경우 diff가, 동작 변경이 많은 경우 전체 파일이 우수함을 보입니다.

시사점, 한계점

시사점:
Inc-FT는 최신 코드 정확도와 이전 지식 보존 사이의 균형을 잘 유지합니다.
ICL은 빠른 업데이트가 필요할 때 유용합니다.
전체 재학습은 새로운 코드에 대한 정확도를 극대화합니다.
Git diff 기반 Inc-FT는 rename/delete가 많은 경우에 효과적입니다.
전체 파일 기반 Inc-FT는 동작 변경이 많은 경우에 효과적입니다.
한계점:
모델 업데이트 전략의 효과는 특정 코드 저장소와 데이터에 따라 달라질 수 있습니다.
Catastrophic forgetting을 완화하기 위한 OLD:NEW 믹싱 비율 결정에 대한 추가 연구가 필요합니다.
Git diff 기반 Inc-FT와 전체 파일 기반 Inc-FT의 일반화 가능성에 대한 추가 연구가 필요합니다.
👍