Mitigating Object Hallucinations in MLLMs via Multi-Frequency Perturbations
Created by
Haebom
Category
Empty
저자
Shuo Li, Jiajun Sun, Guodong Zheng, Xiaoran Fan, Yujiong Shen, Yi Lu, Zhiheng Xi, Yuming Yang, Wenming Tan, Tao Ji, Tao Gui, Qi Zhang, Xuanjing Huang
개요
본 논문은 다중 모드 대규모 언어 모델(MLLM)이 시각-언어 작업에서 뛰어난 성능을 보이지만, 객체 환각으로 인해 응답의 신뢰성이 떨어지는 문제를 다룹니다. 객체 환각의 주요 원인으로 모델이 특정 이미지 주파수 특징에 과민하게 반응하는 것을 지적하며, 이를 해결하기 위해 다중 주파수 섭동(MFP) 기법을 제안합니다. MFP는 이미지의 저주파 및 고주파 특징을 활용하여 시각적 특징 표현을 섭동시키고 추론 중 중복되는 주파수 영역 특징을 명시적으로 억제함으로써 환각을 완화합니다. 실험 결과, MFP가 다양한 모델 아키텍처에서 객체 환각을 상당히 완화시키는 것을 보여주며, 학습 단계에서 사용되는 MFP는 추론 단계 방법과 결합하여 CHAIR 벤치마크에서 최첨단 성능을 달성합니다.
시사점, 한계점
•
시사점:
◦
MLLM의 객체 환각 문제에 대한 새로운 해결책 제시 (MFP 기법)
◦
저주파 및 고주파 특징을 활용한 효과적인 환각 완화
◦
학습 및 추론 단계 모두에서 적용 가능하며, 다른 방법과의 결합을 통해 성능 향상 가능
◦
비용 효율적이고 간단하게 적용 가능한 플러그형 방식
•
한계점:
◦
MFP의 성능은 특정 모델 아키텍처 및 데이터셋에 의존적일 수 있음. 다양한 환경에서의 일반화 성능에 대한 추가 연구 필요.
