본 논문은 인터넷에서 심각한 문제로 떠오른 증오성 밈(meme)을 자동으로 탐지하는 강력한 시스템의 필요성을 강조합니다. 대규모 다중 모드 모델(LMM)이 증오성 밈 탐지에 유망함을 보였지만, 최적이 아닌 성능과 제한적인 도메인 외 일반화 능력과 같은 상당한 문제에 직면합니다. 본 논문에서는 이러한 문제를 해결하기 위해 도메인 내 정확도와 도메인 간 일반화를 향상시키면서 LMM의 일반적인 비전-언어 기능을 유지하는 강력한 적응 프레임워크를 제안합니다. 제안된 방법은 적대적 공격에 대한 향상된 강건성을 보이며, 6개의 밈 분류 데이터셋에 대한 실험에서 최첨단 성능을 달성하고, 더 큰 에이전트 시스템을 능가합니다. 또한, 표준 SFT보다 더 높은 품질의 근거를 생성하여 모델의 해석성을 향상시킵니다. 코드는 깃허브에서 공개됩니다.
