본 논문은 대규모 언어 모델(LLM)이 추론 벤치마크에서는 좋은 성능을 보이지만, 입력이 약간만 변경되어도 종종 실패하는 현상에 대해 다룹니다. 특히 사고 연쇄(CoT) 추론에서 잘못된 기억 패턴이 중간 오류를 유발하여 최종 답변이 잘못될 수 있다는 점을 지적합니다. 이를 해결하기 위해, 본 논문은 새로운 프레임워크인 STIM을 제시합니다. STIM은 추론 과정의 각 토큰을 사전 훈련 코퍼스에서의 통계적 공동 발생을 기반으로 로컬, 중간 범위, 장거리 등 여러 기억 원천 중 하나에 할당하여 기억의 원천을 파악하는 데 중점을 둡니다. 다양한 작업 및 분포 설정에 대한 토큰 수준 분석을 통해 복잡하거나 긴 꼬리의 경우 모델이 기억에 더 많이 의존하며, 로컬 기억이 오류의 주요 원인(최대 67%의 잘못된 토큰)이라는 것을 밝힙니다. 또한 STIM의 기억 점수를 사용하여 잘못된 추론 단계의 잘못된 토큰을 예측할 수 있음을 보여줍니다. STIM은 모델 추론을 진단하고 개선하는 강력한 도구이며, 다른 구조화된 단계적 생성 작업으로 일반화될 수 있습니다.
