본 논문은 블랙박스 제약 하에서 열린 종단형 언어 생성에 대한 불확실성 정량화(UQ) 문제를 해결하기 위해 토큰 엔트로피를 활용한 새로운 프레임워크인 TECP(Token-Entropy Conformal Prediction)를 제안합니다. TECP는 로짓이나 참조 없이 토큰 수준의 엔트로피를 불확실성 척도로 사용하며, 분리된 준거 예측(CP) 파이프라인에 통합하여 공식적인 적용 범위 보장을 가진 예측 집합을 구성합니다. 기존의 의미적 일관성 휴리스틱이나 화이트박스 특징에 의존하는 방법과 달리, TECP는 샘플링된 생성물의 토큰 엔트로피 구조에서 직접 인식론적 불확실성을 추정하고, CP 분위수를 통해 불확실성 임계값을 보정하여 검증 가능한 오류 제어를 보장합니다. 여섯 개의 대규모 언어 모델과 두 개의 벤치마크(CoQA 및 TriviaQA)에 대한 실험적 평가는 TECP가 일관되게 신뢰할 수 있는 적용 범위와 컴팩트한 예측 집합을 달성하며, 이전의 자기 일관성 기반 UQ 방법을 능가함을 보여줍니다. 본 연구는 블랙박스 LLM 설정에서 신뢰할 수 있는 생성을 위한 원칙적이고 효율적인 해결책을 제공합니다.
