본 논문은 대규모 언어 모델(LLM)의 환각 문제, 특히 숫자 비교 오류("9.11 > 9.9"와 같이 잘못된 비교)에 초점을 맞추고 있습니다. LLM이 답변을 먼저 생성한 후 추론 과정을 제시하는 방식과, 추론 과정을 먼저 제시한 후 답변을 생성하는 방식의 결과 차이를 분석하여, LLM의 일관성을 평가하는 새로운 벤치마크 방법을 제안합니다. 이 벤치마크는 LLM이 답변을 조작하고 그에 대한 정당화를 생성하는 경우를 효과적으로 식별합니다. 또한, 이 문제를 완화하기 위한 새로운 프롬프트 전략을 제시하고, 실험 결과를 통해 해당 전략이 다양한 LLM에서 직접적인 질문 방식보다 성능을 향상시킨다는 것을 보여줍니다.
