대규모 언어 모델(LLM)의 활용이 증가함에 따라, 모델의 지식 부족을 반영하는 인식론적 불확실성을 정확하게 평가하는 것이 중요해졌습니다. 그러나, 여러 유효한 답변에서 발생하는 우발적 불확실성으로 인해, 이러한 불확실성을 정량화하는 것은 어렵습니다. 본 연구는 시각적 질의 응답(VQA) 과제에서 프롬프트가 도입한 편향을 완화하는 것이 GPT-4o의 불확실성 정량화를 개선한다는 것을 발견했습니다. 또한, 모델 신뢰도가 낮을 때 LLM이 입력 정보를 복사하는 경향을 바탕으로, GPT-4o 및 Qwen2-VL에서 다양한 무편향 신뢰도 수준에서 이러한 프롬프트 편향이 측정된 인식론적 및 우발적 불확실성에 미치는 영향을 분석했습니다.