본 논문은 대규모 언어 모델(LLM)의 코드 추론 능력을 평가하기 위한 새로운 프레임워크인 CodeMind를 제시합니다. CodeMind는 독립 실행 추론(IER), 명세 추론(SR), 동적 의미론 추론(DSR)이라는 세 가지 명시적 및 암시적 코드 추론 과제를 통해 LLM의 능력을 평가합니다. IER은 LLM이 주어진 입력에 대한 코드 실행을 시뮬레이션하고 출력을 예측하는 능력을 평가하고, SR은 LLM이 테스트 데이터 시뮬레이션을 코드 생성에 통합하는 능력을 평가하며, DSR은 LLM이 특정 입력/출력만 주어졌을 때 전체 코드 의미를 이해하는 능력을 평가합니다. 논문에서는 네 가지 벤치마크를 사용하여 10개의 LLM을 광범위하게 평가한 결과, LLM은 크기와 훈련 전략에 따라 코드의 일부 동적 측면을 추론할 수 있지만, 복잡성이 높은 코드, 비자명 논리 및 산술 연산자, 비기본 자료형 및 API 호출에서는 성능이 저하됨을 보여줍니다. 또한, 이러한 추론 과제는 LLM을 다르게 평가하며, 코드 추론에 대한 포괄적인 평가에는 모든 과제가 필요함을 보여줍니다. 마지막으로, 버그 수정에서 LLM의 성능은 어떤 코드 추론 과제와도 상관관계가 없으며, 최첨단 모델을 제외한 다른 LLM은 버그 수정 시 코드 추론을 통합하지 않음을 보여줍니다.
