본 논문은 급격한 지식 성장에 적응하고 효과를 유지하기 위해 자기 진화하는 대규모 언어 모델(LLM)을 가능하게 하는 지속 학습(CL)의 중요성을 강조하며, 특히 지속적인 도메인 사전 학습(CDP) 환경에서 LLM의 통계적 신뢰성을 보장하는 데 초점을 맞춥니다. 컨포멀 예측(CP)은 LLM의 정확성 보장을 제공하지만, CDP 환경에서 테스트 데이터가 알 수 없거나 변화하는 도메인 분포에서 비롯될 때 보장이 유효하지 않을 수 있으며, 높은 커버리지가 필요한 경우 너무 큰 예측 집합을 생성하여 정보성을 감소시키는 문제에 직면합니다. 이러한 문제를 해결하기 위해, 논문은 변환기 기반 클러스터링을 사용하여 테스트 세트에서 도메인 간 질문 분포를 추정하고, 이를 기반으로 교정 데이터를 재가중하거나 재표본 추출하는 적응형 거부 및 비교환 CP 프레임워크를 제안합니다. 이 프레임워크는 LLM이 신뢰도 또는 역량이 크게 변동할 때 선택적으로 응답을 거부할 수 있도록 합니다.
