FACT-E: Causality-Inspired Evaluation for Trustworthy Chain-of-Thought Reasoning

Created by

Haebom

저자

Yuxi Sun, Aoqi Zuo, Haotian Xie, Wei Gao, Mingming Gong, Jing Ma

💡 개요

본 논문은 대규모 언어 모델(LLM)의 연쇄 사고(Chain-of-Thought, CoT) 추론 과정에서 발생하는 설명의 신뢰성 문제를 해결하기 위한 새로운 평가 프레임워크인 FACT-E를 제안합니다. FACT-E는 인과 관계에서 영감을 받아 제어된 교란(controlled perturbations)을 사용하여 추론 단계 간의 진정한 의존성과 편향된 결과물을 분리하여, 내부 연쇄의 신실성(intra-chain faithfulness)을 더 신뢰성 있게 추정합니다. 이를 통해 내부 연쇄의 신실성과 최종 답변과의 일관성을 함께 고려하여 신뢰할 수 있는 추론 경로를 선택하고, 결과적으로 LLM의 신뢰할 수 있는 추론을 위한 강력한 지표를 제공합니다.

🔑 시사점 및 한계

•

CoT 추론의 질적 평가에서 기존 방법의 편향 문제를 해결하고, 인과 관계 기반의 교란을 통해 보다 신뢰할 수 있는 내부 연쇄 신실성 추정이 가능합니다.

•

내부 연쇄 신실성과 최종 답변 일관성을 함께 고려하여 신뢰할 수 있는 CoT 경로를 선택하고, 이를 통해 더 나은 인컨텍스트 학습 예제를 구성할 수 있습니다.

•

노이즈가 포함된 조건에서도 결함 있는 추론을 안정적으로 탐지하여 LLM 추론의 신뢰성을 높이는 데 기여합니다.

•

제안된 방법론의 계산 복잡성 증가와 특정 유형의 편향에 대한 탐지 능력은 추가적인 연구가 필요할 수 있습니다.

PDF 보기

Made with Slashpage