본 논문은 대규모 비전-언어 모델(LVLM)의 환각 문제, 즉 이미지에 존재하지 않는 객체를 생성하는 문제를 해결하기 위해, 훈련이나 API 접근 없이 추론 단계에서 환각을 줄이는 새로운 프레임워크인 MARINE을 제안합니다. MARINE은 오픈소스 비전 모델을 활용하여 객체 수준의 정보를 추출하고, 이를 LVLM에 적용하여 생성되는 내용의 정확도를 높입니다. 다양한 LVLM과 평가 지표를 사용한 실험 결과, MARINE은 기존의 미세 조정 기반 방법보다 우수한 성능을 보이며, GPT-4V를 이용한 평가에서도 환각을 일관되게 줄이면서 상세한 설명을 유지하는 것을 확인했습니다. 소스 코드는 공개되어 있습니다.
