Instruction-finetuned Large Language Models (LLMs)를 활용한 대화형 질문-응답 태스크에서, 쿼리 횟수를 최소화하는 시퀀셜 쿼리 전략을 연구합니다. 정보 획득 (Information Pursuit, IP)과 같은 그리디 알고리즘이 사용되지만, LLM의 확률 추정의 어려움으로 인해 최적의 쿼리 선택이 어려워집니다. 이 논문은 예측 집합(prediction sets) 기반의 Conformal Information Pursuit (C-IP)를 제안하여 불확실성을 더 정확하게 추정합니다. C-IP는 예측 집합의 평균 크기를 기반으로 불확실성을 측정하며, 실험 결과 C-IP가 기존 IP 방식 및 불확실성 기반 Chain-of-Thought 방법보다 우수한 성능을 보였습니다. MediQ 데이터셋을 사용한 의료 환경에서도 C-IP는 해석 가능성을 높이며 단일 턴 예측과 경쟁력 있는 성능을 달성했습니다.
