본 논문은 다중 턴 상호작용에서 대규모 언어 모델(LLM)의 응답 일관성을 평가하고 향상시키기 위한 포괄적인 프레임워크를 제시한다. 주요 기여는 세 가지로, 첫째, 초기 단계 안정성과 다중 턴 상호작용에서의 복구 패턴을 모두 포착하는 새로운 위치 가중 일관성(PWC) 점수를 제안한다. 둘째, 다양한 도메인과 난이도 수준을 포함하는, 다양한 어려운 후속 시나리오에서 LLM 일관성을 평가하도록 특별히 설계된 정성적으로 엄선된 벤치마크 데이터 세트를 제시한다. 셋째, 모델 신뢰도 신호를 생성 프로세스에 통합하여 응답 안정성을 크게 향상시키는 신뢰도 인식 응답 생성(CARG) 프레임워크를 소개한다. 실험 결과는 CARG가 정확성을 희생하지 않고 응답 안정성을 크게 향상시킨다는 것을 보여주며, 중요한 응용 분야에서 신뢰할 수 있는 LLM 배포를 위한 잠재력을 강조한다.
