본 논문은 대규모 언어 모델(LLM)을 이용한 자동 프로그램 수정(APR)의 실효성을 검증하기 위해 프로그래머 두 그룹(LLM 접근 그룹과 비접근 그룹)을 대상으로 프로그램 디버깅 실험을 수행했습니다. 프로그램 증명 환경을 활용하여 제안된 수정의 정확성을 공식적으로 검증하였으며, Goal-Query-Metric 접근 방식을 통해 연구 질문, 구체적인 답변 요소, 측정 지표를 설정했습니다. 제한된 표본 크기임에도 불구하고, LLM을 이용한 프로그램 버그 수정에 대한 명확한 역할을 규명하는 데 첫걸음을 내딛었습니다. 실험 결과는 기존의 AI 기반 디버깅 및 APR에 대한 기대와는 상이한 결과를 보였습니다. 또한, LLM을 이용한 디버깅 실험을 위한 자세한 방법론, 세션 전체 기록을 통한 프로그래머 행동 분석, 7가지의 LLM 사용 패턴 정의, 그리고 디버깅 및 APR에서 LLM을 효과적으로 활용하기 위한 검증된 조언 등을 제시했습니다.
