본 논문은 대규모 언어 모델(LLM)의 부정확한 출력으로 인한 위험을 완화하기 위해, 신뢰구간 예측(CP) 기반의 질문 수정 기법인 CROQ(conformal revision of questions)를 제안한다. CROQ은 CP를 이용하여 답변 후보군을 좁힌 후, LLM에 수정된 질문을 다시 제시하여 정확도를 높이는 방식이다. CP에서 생성되는 후보군의 크기가 CROQ의 효과에 중요한 영향을 미치므로, 후보군 크기를 최소화하면서 신뢰도를 유지하는 최적화 프레임워크 CP-OPT도 함께 제안한다. MMLU, ToolAlpaca, TruthfulQA 데이터셋을 사용한 실험 결과, CROQ이 기존 방식보다 정확도를 향상시키며, 특히 CP-OPT와 함께 사용했을 때 효과가 더욱 크다는 것을 보였다.
