본 논문은 대규모 언어 모델(LLM) 기반의 계획자가 장기적인 과제에서 과신으로 인해 잘못된 출력을 생성하는 문제를 해결하기 위해, 예측 집합을 사용하여 계획의 정확성을 보장하는 컨포멀 예측(CP)을 활용한다. 특히, 본 연구는 예측 집합 크기를 줄여 사용자 개입 빈도를 낮추는 것을 목표로 하는 CP 인식 미세 조정 프레임워크인 CoFineLLM을 제안한다. CoFineLLM은 여러 로봇 계획 문제에 대한 실험을 통해 예측 집합 크기와 도움 요청 횟수 측면에서 기존 방식보다 향상된 성능을 보이며, 실제 하드웨어 실험을 통해 외부 분포 환경에서의 강건성을 입증했다.