본 논문은 대규모 언어 모델(LLM)의 의사결정 과정의 불투명성을 해결하기 위해 Chain-of-Thought와 같은 설명 기법의 필요성을 강조하며, 답변과 추론 간의 관계를 조사하기 위한 새로운 평가 프레임워크인 MATCHA를 제안합니다. 교육 및 의료와 같이 추론이 모델 신뢰성에 중요한 영역에서, MATCHA는 입력 변화에 따라 LLM이 불일치하거나 비논리적인 추론을 생성할 수 있음을 보여줍니다. 또한, LLM 판정관을 사용하여 모델 간의 추론 강건성을 평가하고, 다단계 및 상식적 과제에서 논리적 과제보다 입력 변화에 대한 LLM의 취약성이 더 크다는 것을 밝힙니다. 마지막으로, 성공적인 예시의 블랙박스 모델로의 비범한 전이율을 보여줍니다. 본 연구의 평가 프레임워크는 LLM 추론 메커니즘을 더 잘 이해하고, 답변과 추론의 일관성을 강화하여 더 강건하고 추론 중심의 아키텍처를 향한 미래 모델을 안내하는 데 도움이 됩니다.
