본 논문은 비디오 멀티모달 대규모 언어 모델(Video-MLLM)의 환각(hallucination) 문제, 특히 장시간 비디오에서 발생하는 의미 집합 환각(Semantic Aggregation Hallucination, SAH)에 초점을 맞춘 연구입니다. 기존 연구들이 주로 단시간 비디오에 초점을 맞춰 환각의 원인을 단순화한 것과 달리, 본 논문은 장시간 비디오의 복잡한 의미적 맥락에서 발생하는 SAH 현상을 심층적으로 분석합니다. SAH는 프레임 단위 의미는 정확하지만 이를 이벤트 단위로 집합하는 과정에서 잘못된 출력을 생성하는 현상으로, 장시간 비디오에서 특히 심각하게 나타납니다. 이를 위해 연구진은 장시간 비디오 환각을 위한 새로운 벤치마크인 ELV-Halluc을 제시하고, SAH의 존재를 확인하며, 의미적 복잡성 및 의미 변화 속도와의 상관관계를 분석합니다. 또한, 위치 인코딩 전략과 DPO(dynamic positional offset) 전략을 활용하여 SAH를 완화하는 방법을 제시하고, 8,000개의 적대적 데이터 쌍으로 구성된 데이터셋을 통해 모델 성능 향상을 보여줍니다. 결과적으로 SAH 비율을 27.7% 감소시키는 성과를 달성했습니다.
