본 논문은 대규모 언어 모델(LLM)의 자동 코드 생성 성능 향상을 위해 Feedback-driven Adaptive Long/short-term memory reinforced Coding Optimization (FALCON)을 제안합니다. 기존 LLM 기반 코드 생성 모델들이 데이터셋의 다양성 부족, 특수 작업 및 예외 케이스 처리 미흡, 그리고 SFT 및 RLHF의 어려움으로 인해 사용자 의도와 일치하는 정확한 코드 생성에 어려움을 겪는다는 점을 지적하며, FALCON은 장기 기억(global level)과 단기 기억(local level)을 활용하는 계층적 구조와 메타 강화 학습을 통해 이러한 문제를 해결합니다. 장기 기억은 학습된 지식을 활용하여 코드 품질을 향상시키고, 단기 기억은 컴파일러 및 AI 시스템의 즉각적인 피드백을 통합합니다. 실험 결과, FALCON은 MBPP 벤치마크에서 4.5%p 이상, Humaneval 벤치마크에서 6.1%p 이상 기존 강화 학습 기반 방법들을 능가하는 최첨단 성능을 달성했습니다. 소스 코드는 공개적으로 제공됩니다.
