본 논문은 최첨단 대규모 언어 모델(LLM)이 파이썬 프로그램에 대한 추론 능력을 실제로 갖추고 있는지, 아니면 단순히 추측하는지 평가합니다. 변수 이름 바꾸기, 비교 표현식 반전, if-else 분기 바꾸기, for 루프를 while 루프로 변환, 루프 언롤링 등 의미를 보존하는 5가지 코드 변이를 적용하여 6개의 LLM을 평가했습니다. LiveCodeBench를 이용한 전문가 분석과 CruxEval 및 LiveCodeBench를 이용한 예측 안정성 평가를 통해, LLM이 올바른 예측을 하더라도 10%에서 50% 사이의 경우에는 잘못된 추론에 기반한다는 것을 밝혔습니다. 또한 코드 변이에 따라 예측이 자주 바뀌는 것으로 나타나, LLM이 아직 안정적이고 의미적으로 기반한 추론을 보이지 않는다는 것을 확인했습니다.
