본 논문은 급격한 지식 성장에 적응하고 효과를 유지하기 위해 자기 진화하는 대규모 언어 모델(LLM)을 가능하게 하는 지속적 학습(CL)의 중요성을 강조합니다. 특히 지속적 도메인 사전 훈련(CDP) 환경에서 LLM에 대한 통계적 신뢰성 보장을 확립하는 데 초점을 맞춥니다. 컨포멀 예측(CP)은 LLM의 정확성 보장을 제공하지만, 알려지지 않거나 변화하는 도메인 분포에서 CP가 유효한 보장을 제공하지 못할 수 있으며, 높은 커버리지가 필요한 경우 너무 큰 예측 세트를 생성하여 정보성을 감소시키는 문제에 직면합니다. 이러한 문제를 해결하기 위해, 본 논문은 적응형 거부 및 비교환 CP 프레임워크를 제안합니다. 제안된 방법은 변환기 기반 클러스터링을 사용하여 테스트 세트에서 도메인 간 질문의 분포를 추정한 다음, 보정 데이터를 재가중하거나 재표본합니다. 또한, 적응형 거부 CP를 통해 LLM이 신뢰도 또는 역량이 크게 변동할 때 선택적으로 응답을 거부할 수 있도록 합니다. 광범위한 실험을 통해 제안된 프레임워크가 CDP 시나리오에서 CP의 효과와 신뢰성을 향상시킴을 입증했습니다.
