본 연구는 대규모 언어 모델(LLM)의 환각 현상을 완화하기 위해 제안된 검색 증강 언어 모델(RALM)의 거부 능력을 평가한다. RALM이 모르는 것을 인지하고 거부해야 함을 가정하고, RALM의 캘리브레이션, 거부 능력과 캘리브레이션의 관계, 불확실성 기반의 응답 회피를 통한 거부 문제 완화 가능성을 탐구한다. 연구 결과, RALM은 관련 없는 문서를 검색했을 때 과도하게 거부하는 경향이 있으며, 거부 능력이 개선되어도 캘리브레이션이나 정확도가 향상되지 않을 수 있음을 확인했다. 또한, 거부 후 훈련된 RALM에 대한 간단한 거부 메커니즘을 개발하여 전반적인 답변 품질을 향상시켰다.
