본 논문은 시각-언어 분할(vision-language segmentation) 모델의 환각(hallucination) 문제를 해결하기 위해, 반사실적 시각 추론(counterfactual visual reasoning) 관점에서 환각을 평가하는 새로운 벤치마크인 HalluSegBench를 제안합니다. HalluSegBench는 281개의 고유한 객체 클래스에 걸쳐 1340개의 반사실적 인스턴스 쌍으로 구성된 새로운 데이터셋과, 시각적으로 일관된 장면 편집 하에서 환각 민감도를 정량화하는 새로운 지표들을 포함합니다. 최첨단 시각-언어 분할 모델에 대한 HalluSegBench 실험 결과, 레이블 기반 환각보다 시각 기반 환각이 훨씬 더 흔하며, 모델이 종종 잘못된 분할을 고집하는 경향이 있음을 보여줍니다. 이는 기반 신뢰도(grounding fidelity)를 진단하기 위해 반사실적 추론이 필요함을 강조합니다.
