본 논문은 다중 모드 대규모 언어 모델(MLLM)에서 환각을 줄이기 위해 널리 사용되는 대조적 디코딩 전략이 환각 문제를 효과적으로 완화하지 못한다는 것을 보여줍니다. POPE 벤치마크에서 관찰되는 성능 향상은 모델 출력 분포에 대한 조잡한 단방향 조정과 적응형 타당성 제약(탐색 전략을 탐욕적 검색으로 축소)이라는 두 가지 오해의 소지가 있는 요인에 의해 크게 좌우됩니다. 연구진은 일련의 허위 개선 방법을 도입하여 대조적 디코딩 기법과 성능을 비교 평가함으로써, 대조적 디코딩에서 관찰되는 성능 향상이 환각 완화라는 의도된 목표와 전혀 관련이 없음을 밝힙니다. 이러한 결과는 대조적 디코딩 전략의 효과에 대한 일반적인 가정에 이의를 제기하며, MLLM의 환각에 대한 진정으로 효과적인 해결책을 개발하는 길을 열어줍니다.
