본 논문은 다양한 작업에서 뛰어난 성능을 보이는 대규모 언어 모델(LLM)의 여러 라운드 상호 작용에 걸친 일관된 성능 유지를 위한 포괄적인 프레임워크를 제시합니다. 세 가지 주요 기여는 다음과 같습니다. 첫째, 초기 단계 안정성과 다중 턴 상호 작용에서의 복구 패턴 모두를 포착하는 새로운 위치 가중 일관성(PWC) 점수를 제안합니다. 둘째, 다양한 도메인과 난이도 수준을 포함하는 신중하게 큐레이션된 벤치마크 데이터 세트를 제시하여 다양한 어려운 후속 시나리오에서 LLM 일관성을 평가합니다. 셋째, 모델 신뢰도 신호를 생성 프로세스에 통합하여 응답 안정성을 크게 향상시키는 신뢰도 인식 응답 생성(CARG) 프레임워크를 소개합니다. 실험 결과는 CARG가 정확성을 희생하지 않고 응답 안정성을 크게 향상시켜 중요한 응용 분야에서 신뢰할 수 있는 LLM 배포의 잠재력을 강조합니다.
