본 논문은 인터넷 상에서 심각한 문제가 되고 있는 증오심 표현이 담긴 밈(meme)을 자동으로 탐지하는 강력한 시스템 개발에 초점을 맞추고 있다. 대규모 다중 모드 모델(LMMs)이 유망한 성과를 보여주고 있지만, 최적 성능 미달 및 도메인 외 일반화 능력의 제한과 같은 어려움에 직면하고 있다. 본 논문에서는 이러한 문제를 해결하기 위해 도메인 내 정확도와 도메인 간 일반화 능력을 향상시키면서 LMM의 일반적인 비전-언어 기능을 유지하는 강력한 적응 프레임워크를 제안한다. 제안된 방법은 기존 지도 미세 조정(SFT) 모델에 비해 적대적 공격에 대한 강력한 견고성을 보이며, 6개의 밈 분류 데이터셋에 대한 실험 결과, 기존 최고 성능을 능가하는 성능을 달성하고 더 높은 품질의 근거를 생성하여 모델의 해석력을 향상시킨다.
