CodeCrash: Stress Testing LLM Reasoning under Structural and Semantic Perturbations
Created by
Haebom
저자
Man Ho Lam, Chaozheng Wang, Jen-tse Huang, Michael R. Lyu
개요
본 논문은 대규모 언어 모델(LLM)의 코드 이해 및 추론 능력의 견고성을 평가하기 위한 새로운 벤치마크인 CodeCrash를 제시합니다. CodeCrash는 CruxEval과 LiveCodeBench 두 데이터셋의 1,279개 질문으로 구성되며, 비표준 코딩 환경에서 모델 추론의 신뢰성을 평가하도록 설계되었습니다. 17개의 LLM을 대상으로 직접 프롬프팅과 사고연쇄(Chain-of-Thought) 프롬프팅 방식을 사용하여 입력 및 출력 예측 작업을 평가한 결과, LLM이 코드의 비체계적인 구성에 취약하고 자연어 단서에 과도하게 의존하는 것으로 나타났습니다. 구조적 섭동은 성능을 14% 이상 저하시키고, 텍스트 섭동은 11% 이상 저하시켰습니다. 또한, 최첨단 추론 모델의 자기 반성 메커니즘은 토큰 사용량을 2~3배 증가시키고 출력 신뢰도를 낮추며, 특정 섭동에 직면했을 때 치명적인 추론 실패를 초래할 수 있습니다(예: QwQ-32B는 추론 수준의 섭동에서 12,000개 이상의 중복 토큰을 생성). CodeCrash는 코드 이해의 견고성을 평가하는 엄격한 벤치마크를 제공하여, 코드 추론에서 더욱 신뢰할 수 있고 탄력적인 LLM을 향한 미래 연구를 위한 지침을 제시합니다. 벤치마크 코드, 변경된 데이터셋, 전체 리더보드는 https://cuhk-arise.github.io/CodeCrash/ 에서 공개적으로 이용 가능합니다.
