본 논문은 사전 훈련된 거대 언어 모델(LLM)에 코드 구조 지식을 추론 시 추가하는 훈련 없고 모델에 무관한 방법을 제시한다. 기존의 구문 인식 방법들이 복잡한 모델 구조와 손실 함수에 의존하는 것과 달리, 본 논문은 입력 컨텍스트에 직접 작업 예시를 통합하는 컨텍스트 학습(ICL)을 활용한다. 정보 이론적 관점에서 예시 선택을 재검토하여, 유사성과 다양성을 결합하는 기존 방법보다 정보 범위를 기반으로 하는 목록별 선택이 더 정확하고 일반적인 목표임을 제안한다. 정보 범위를 정량화하는 과제를 해결하기 위해, 추상 구문 트리의 범위(CAST)라는 대체 척도를 제시하고, NP-hard CAST 최대화 문제를 위한 탐욕 알고리즘을 제안한다. 실험 결과, 제안된 방법이 LLM의 성능을 크게 향상시키고, 훈련 시 간과되었던 코드 구조 지식을 추론 시 효과적으로 추가할 수 있으며, 모델 크기 또는 훈련 데이터 확장이 코드 구조 지식의 출현으로 이어지지 않음을 보여준다.
