본 논문은 대규모 언어 모델(LLM)의 일관성을 평가하기 위한 새로운 프레임워크인 ConsistencyChecker를 제안합니다. 기존의 자기 일관성 방법론이 자연어의 미묘한 의미 변화나 코드 또는 방정식의 기능적 변화를 놓치는 문제를 해결하기 위해, ConsistencyChecker는 기계 번역 및 AI 지원 프로그래밍 작업을 포함한 일련의 가역적 변환을 통해 일관성을 측정하는 트리 기반 평가 프레임워크를 사용합니다. 노드는 서로 다른 텍스트 상태를, 에지는 역 연산 쌍을 나타내며, 동적이고 LLM이 생성한 벤치마크를 통해 모델의 일반화 능력을 공정하게 평가하고 벤치마크 누수를 방지합니다. 변환 트리의 다양한 깊이에 따른 유사성을 기반으로 일관성을 정량화하며, 다양한 계열과 크기의 8개 모델에 대한 실험을 통해 ConsistencyChecker가 서로 다른 모델의 성능을 구별할 수 있음을 보여줍니다. 특히, WMT 짝 데이터를 전혀 사용하지 않고 계산된 일관성 점수가 WMT 2024 자동 순위와 높은 상관관계(r > 0.7)를 보이며, 벤치마크가 필요 없는 접근 방식의 유효성을 입증합니다. 소스 코드는 깃허브에서 공개됩니다.
