본 논문은 대규모 언어 모델(LLM)의 불확실성을 정량화하는 기존 방식인 백분율 표시의 한계를 지적하고, LLM의 출력 공간(문자열 공간) 내에서 LLM이 가능하다고 여기는 출력 문자열 분포를 요약할 수 있을 만큼 표현력 있는 문자열이 존재한다는 주장을 제시합니다. 이를 위해, LLM의 내부 응답 분포를 얼마나 충실하게 문자열이 요약하는지를 평가하는 SelfReflect라는 새로운 지표를 제안합니다. SelfReflect는 후보 요약 문자열의 미묘한 차이까지 구별하고, 인간의 판단과 일치하며, LLM 판단이나 임베딩 비교와 같은 다른 지표보다 성능이 우수함을 보여줍니다. SelfReflect를 사용하여 여러 가지 자기 요약 방법을 조사한 결과, 최첨단 추론 모델조차도 내부 불확실성을 명확히 설명하는 데 어려움을 겪지만, 샘플링 및 요약을 통해 충실한 요약을 생성할 수 있음을 발견했습니다. 본 논문의 지표는 LLM 불확실성의 보편적인 형태를 향한 미래 연구를 가능하게 합니다.
