본 논문은 특정 분야에 특화된 대규모 언어 모델(LLM)을 위한 새로운 추론 시간 도메인 외(OOD) 감지 알고리즘을 제안한다. 특화된 LLM은 미세 조정을 통해 도메인 내 작업에서 최첨단 성능을 달성하지만, OOD 입력이 주어지면 잘못되거나 신뢰할 수 없는 출력에 취약하여 중요한 응용 분야에서 위험을 초래한다. 본 논문의 방법은 모델의 dropout 허용 오차를 기반으로 하는 새로운 비순응 척도를 사용하여 유도적 준거적 이상 감지(ICAD) 프레임워크를 활용한다. LLM의 다의성과 중복성에 대한 최근 연구 결과에 착안하여, 도메인 내 입력은 OOD 입력보다 더 높은 dropout 허용 오차를 나타낸다는 가설을 세운다. 유효한 앙상블 접근 방식을 통해 여러 계층에서 dropout 허용 오차를 집계하여 감지 성능을 향상시키는 동시에 ICAD의 이론적 오경보 한계를 유지한다. 의료 전문 LLM을 사용한 실험 결과, 제안된 접근 방식이 기준 방법보다 OOD 입력을 더 잘 감지하며, OOD 데이터 포인트를 양성으로, 도메인 내 테스트 데이터 포인트를 음성으로 처리할 때 AUROC가 2%에서 37%까지 향상됨을 보여준다.
