본 논문은 코드 대규모 언어 모델(Code LLMs)의 실행 시간 동작 추론 및 프로그램 기능 이해 능력의 한계를 다룹니다. Code LLMs는 프로그램 실행 동작에 대한 추론 능력 부족과 실행 추적과 같은 의미 정보의 불일치하고 단편적인 표현으로 어려움을 겪습니다. 이러한 문제를 해결하기 위해, 의미 정보 (예: 실행 추적)를 코드 작업 관련 프롬프트에 통합하는 일반적인 프레임워크를 제시하고, 의미 정보가 Code LLMs의 추론 능력 향상에 미치는 영향을 종합적으로 연구합니다. 특히, 추적 기반 의미 정보가 Code LLMs의 지도 학습 미세 조정(SFT) 및 추론 단계에 미치는 영향을 조사합니다. 실험 결과는 이전 연구와 달리, 의미 정보가 SFT 및 Code LLM의 테스트 시간 확장에 제한적인 유용성을 가짐을 보여줍니다.
