Identify, Isolate, and Purge: Mitigating Hallucinations in LVLMs via Self-Evolving Distillation
Created by
Haebom
저자
Wenhao Li, Xiu Su, Jingyi Wu, Feng Yang, Yang Liu, Yi Chen, Shan You, Chang Xu
개요
본 논문은 대규모 비전-언어 모델(LVLMs)의 환각 문제를 해결하기 위해 자기 진화 증류(SEED) 기법을 제안합니다. SEED는 LVLMs의 내부 지식에서 환각을 식별하고 제거한 후, 정제된 지식을 모델에 다시 증류하여 모델이 스스로 진화하도록 합니다. 기존 증류 방법의 공백 문제를 해결하기 위해 모드 탐색 진화 방식을 사용하여 정제된 지식 분포의 주요 모드를 포착하고, 환각 제거 어댑터를 통해 원 모델의 잘못된 지식을 수정합니다. LLaVA-1.5와 InternVL2 모델을 대상으로 한 실험 결과, SEED가 환각 문제 완화에 효과적임을 보여주며, 특히 LLaVA-1.5의 POPE-Random 지표 기준 F1 점수를 81.3에서 88.3으로 향상시켰습니다.
시사점, 한계점
•
시사점:
◦
LVLMs의 환각 문제를 효과적으로 완화하는 새로운 방법인 SEED 제안.
◦
기존 방법의 단점인 긴 추론 시간 문제 해결.
◦
LLaVA-1.5 및 InternVL2와 같은 대표적인 LVLM 모델에서 성능 향상을 실험적으로 검증.
