본 논문은 소프트웨어 엔지니어링에서 중요한 역할을 하는 코드 편집 작업을 위해, 실제 코드 편집 지침 스타일을 반영하고 데이터 품질과 다양성을 보장하는 오픈 소스 파이프라인 OpenCodeEdit을 소개합니다. 이 파이프라인은 여러 LLM을 활용하여 현실적인 코드 편집 삼중항을 합성하며, 데이터 품질과 다양성을 위해 diff 및 토픽 기반 필터링을 적용합니다. 이를 통해 구축된 20K 샘플의 OCEDataFT 데이터셋으로 세 개의 고급 기본 모델을 미세 조정하여 CanItEdit 벤치마크에서 상당한 성능 향상을 달성했습니다. 결과 모델은 독점적인 자원이나 수동 주석 없이도 GPT-4에 근접한 성능을 보여주었습니다.
시사점, 한계점
•
시사점:
◦
오픈 소스 파이프라인 OpenCodeEdit을 통해 현실적인 코드 편집 데이터셋을 구축하여 코드 편집 모델의 성능을 향상시켰습니다.
◦
독점 자원 없이도 GPT-4에 근접한 성능을 달성하여, 코드 편집 분야의 접근성을 높였습니다.
◦
"lazy" 및 "descriptive" 유형의 지침을 모두 생성하여 다양한 사용자 요구에 대응할 수 있습니다.
•
한계점:
◦
오픈 소스 파이프라인의 성능은 LLM의 품질에 의존하며, LLM의 발전과 함께 지속적인 개선이 필요합니다.
