다중 모달 대형 추론 모델(MLRM)의 비전-언어 추론 능력 발전에도 불구하고, 할루시네이션은 여전히 문제로 남아있습니다. 본 연구는 어텐션 헤드가 얕은 레이어에서는 지각에, 깊은 레이어에서는 기호 추론에 기여하는 분화된 역할을 수행한다는 점을 발견했습니다. 이러한 관찰을 바탕으로, 지각적 편향과 추론 오류로 인한 할루시네이션 문제를 해결하기 위해, 재학습 없이 지각 및 추론 지향 헤드를 식별하고 기여도를 조절하는 경량 플러그인 (Functional Head Identification and Class-conditioned Rescaling)을 제안합니다. 세 가지 MLRM, 여섯 가지 벤치마크, 네 가지 베이스라인에 대한 평가 결과, 본 플러그인이 평균 5%, 최대 15%의 성능 향상을 보였으며, 1% 미만의 추가 계산량과 9%의 지연 시간 감소를 달성했습니다. 제안하는 방법은 모델에 독립적이며, off-the-shelf MLRM의 신뢰성과 해석 가능성을 향상시켜 안전한 활용을 가능하게 합니다.
