본 논문은 최첨단 성능을 보이는 LLM 기반 자동 프로그램 수정 방법의 일반화 능력을 평가한 연구입니다. 기존 Defects4J 데이터셋에서 우수한 성능을 보였던 11개의 LLM을 Defects4J를 변형하여 생성한 새로운 데이터셋인 DEFECTS4J-TRANS에 적용하여 평가하였습니다. 그 결과, 모든 LLM에서 일반화 능력이 제한적임을 확인하였으며, DEFECTS4J-TRANS에서 정답 패치 및 타당한 패치의 수가 각각 49.48%, 42.90% 감소했습니다. 수정 관련 정보를 추가하여 프롬프트 엔지니어링을 개선했으나, 성능 향상은 제한적이었으며 기존 성능에는 미치지 못했습니다. 따라서 프롬프트 엔지니어링만으로는 LLM의 수정 능력을 크게 향상시키는 데 한계가 있음을 시사합니다.
